Thiếu tướng Mai Hoàng sinh năm 1979. Ông quê quán ở huyện Yên Mỹ, tỉnh Hưng Yên. Ông từng học tại Trường Trung Học An ninh nhân dân 1 (Cao đẳng An ninh nhân dân 1).

Thiếu tướng Mai Hoàng là đảng viên Đảng Cộng sản Việt Nam.
Khi mới tốt nghiệp Trường Trung học An ninh nhân dân 1 (nay là Cao đẳng An ninh nhân dân 1), năm 2000, Mai Hoàng được cử về công tác tại Đội Cảnh sát hình sự Công an huyện biên giới Yên Châu, tỉnh Sơn La. Với nhiều chiến công cùng đồng đội trong việc triệt phá nhiều tụ điểm phức tạp về ma túy, hình sự; tháng 7 năm 2004, ông được điều động về Đội Cảnh sát điều tra tội phạm về ma túy, Công an huyện Mộc Châu - một điểm nóng được ví như “chảo lửa” về ma túy của cả nước lúc bấy giờ. Năm 2012, ông được bổ nhiệm chức Đội trưởng, trực tiếp cùng đồng đội tham gia đấu tranh nhiều chuyên án lớn, bắt giữ nhiều đối tượng ma túy, hình sự.

Tháng 9 năm 2013, huyện Mộc Châu được chia tách để thành lập huyện Vân Hồ, ông giữ vị trí Phó trưởng Công an huyện, Phó Thủ trưởng cơ quan Cảnh sát điều tra. Tháng 12 năm 2014, ông được Ban Giám đốc Công an tỉnh Sơn La bổ nhiệm giữ chức vụ Phó trưởng Phòng Cảnh sát hình sự. Tháng 12 năm 2016, Mai Hoàng được điều động, trở về công tác tại Công an huyện Mộc Châu, giữ chức vụ Trưởng Công an huyện - đây là một trong những địa bàn ma túy phức tạp nhất của tỉnh Sơn La và toàn quốc.

Tháng 7 năm 2019 ông bảo vệ thành công luận án Tiến sĩ với đề tài “Chuyên án trinh sát đấu tranh, phòng, chống tội phạm vận chuyển mua bán trái phép chất ma túy có vũ trang qua biên giới vùng Tây Bắc”; đây là kết quả đúc kết nhiều năm từ kinh nghiệm thực tiễn đấu tranh chuyên án đặc biệt là Chuyên án 279LL.
Ngày 3 tháng 4 năm 2020, Bộ trưởng Bộ Công an đã có Quyết định điều động, bổ nhiệm Thượng tá Mai Hoàng giữ chức vụ Phó Cục trưởng Cục Cảnh sát hình sự.
Ngày 8 tháng 8 năm 2020, đồng chí Mai Hoàng vinh dự được Chủ tịch nước Cộng hòa xã hội chủ nghĩa Việt Nam phong tặng Danh hiệu Anh hùng Lực lượng Vũ trang Nhân dân. 

Tháng 12 năm 2020, ông được Bộ trưởng Bộ Công an quyết định thăng cấp hàm từ Thượng tá lên Đại tá.
Ngày 25 tháng 7 năm 2022, Bộ Công an đã trao quyết định điều động Đại tá Mai Hoàng, Phó Cục trưởng Cục Cảnh sát hình sự (C02) Bộ Công an, làm Phó Giám đốc, kiêm Thủ trưởng Cơ quan Cảnh sát điều tra Công an Thành Phố Hồ Chí Minh.
Tháng 12 năm 2023, ông được Chủ tịch nước Cộng hòa xã hội chủ nghĩa Việt Nam thăng cấp bậc hàm Thiếu tướng.
Ngày 5 tháng 3 năm 2024, tại Hội nghị Thành ủy Thành phố Hồ Chí Minh lần thứ 27, ông được trao quyết định của Ban Bí thư chỉ định tham gia Ban Chấp hành Đảng bộ Thành Phố Hồ Chí Minh khóa 11, nhiệm kỳ 2020-2025.
Ngày 8 tháng 6 năm 2025, ông được Bộ trưởng Bộ Công An điều động bổ nhiệm giữ chức vụ Giám đốc Công An Thành phố Hồ Chí Minh thay cho Trung Tướng Lê Hồng Nam nghỉ hưu theo quyết định.

Với thành tích trong công tác giữ gìn an ninh chính trị, trật tự, an toàn xã hội, góp phần vào sự nghiệp xây dựng chủ nghĩa xã hội và bảo vệ Tổ quốc, sau chiến dịch tấn công, xóa sổ hai điểm nóng ma túy ở xã Lóng Luông, huyện Vân Hồ, tỉnh Sơn La, Mai Hoàng đã được Chủ tịch nước tặng thưởng Huân Chương Quân Công hạng Ba vào năm 2019.
Mai Hoàng từng là một trong 10 gương mặt trẻ Việt Nam tiêu biểu, Thanh niên Công an tiêu biểu, được Ban Chấp Hành Trung ương Đoàn Thanh Niên Cộng Sản Hồ Chí Minh trao tặng Huy hiệu “Tuổi trẻ dũng cảm”; 10 năm liên tục đạt danh hiệu “Chiến sĩ thi đua cơ sở”; vinh dự được Đảng, Nhà nước tặng thưởng 4 Huân chương Chiến công các hạng.