Ngày 11/8/2012 tại giải HNQG 2012, CLB TPHCM của ông bầu Nguyễn Chí Kiên rớt hạng xuống hạng nhì. Đó là một mùa giải mà ông bầu này phải bấu víu khắp nơi, đi xin từng đồng tiền tài trợ của "mạnh thường quân" với hy vọng giúp đội có thể đủ kinh phí hoạt động.
Ở trận đấu cuối cùng trên sân nhà, dù rất nỗ lực để đánh bại An Giang nhưng họ vẫn cay đắng rớt hạng. Một tấm băng rôn rơi nước mắt lúc đó được căng ngang phía khán đài B: "Câu lạc bộ TPHCM chân thành xin lỗi". Nhiều người đã tiếc nuối cho một cái tên từng là niềm tự hào của khán giả Sài thành bởi tiền thân của đội bóng này là Cảng Sài Gòn.
Đã từng có những viễn cảnh lo sợ đội bóng sẽ đứng trên bờ vực xóa tên hoàn toàn như những Hải Quan, Bưu Điện hay Quân Khu 7. Tuy nhiên, cái tên TPHCM vẫn được giữ lại và bắt nguồn từ một thế hệ cầu thủ hoàn toàn mới. Liên đoàn bóng đá TPHCM quyết định làm lại từ đầu, đặt mục tiêu lên lại hạng nhất ngay sau một năm và trở lại V-League ở mùa 2017.
Ngày 22/7/2013, đội bóng được sự dẫn dắt của HLV Đoàn Minh Xương giành quyền thăng hạng sau chiến thắng 1-0 trước Đắk Lắk. Họ hoàn thành 50% mục tiêu đặt ra.
Băng rôn của đội bóng dựng lên xin lỗi khán giả vì không thể trụ hạng ở mùa giải hạng nhất 2012.
Bước lên giải hạng nhất từ mùa 2014, đội bóng đã phải trải qua 2 mùa giải lận đận và không dám đặt mục tiêu thăng hạng bởi vấn đề đầu tiên là chuyện "tiền đâu". Đến mùa giải HNQG 2016, tham vọng mới trở thành hiện thực khi đội nhận được sự đầu tư của ông Trần Anh Tú, chủ tịch tập đoàn Thái Sơn Nam và lúc đó vẫn giữ chức chủ tịch liên đoàn bóng đá TPHCM.
Bằng sự tăng cường đầu tư về tài chính, họ đã bổ sung những bản hợp đồng chất lượng như Đào Nhật Minh (Than Quảng Ninh), Doãn Ngọc Tân (Hải Phòng), Sỹ Nam (SLNA), Hà Đức Chinh (PVF). Kết hợp với lực lượng đã chơi cùng nhau nhiều năm như Trần Thanh Bình, Nguyễn Hữu Tuấn, Nguyễn Minh Trung hay Phạm Công Hiển... ông Lư Đình Tuấn (HLV trưởng CLB lúc đó) đã tạo thành một tập thể 'vô đối' ở mùa giải này.
Ngày 30/7/2016, CLB TPHCM giành được một điểm quyết định trước Viettel, chính thức góp mặt ở V-League 2017, hoàn thành lộ trình 4 năm để trở lại giải đấu số 1 Việt Nam.
TPHCM đang bay cao trên đỉnh V-League với 5 thắng - 1 hòa sau 6 vòng đấu.
Lên hạng, mối lo lớn nhất là tài chính vì họ mới trở lại hạng đấu cao nhất Việt Nam, sẽ rất ít doanh nghiệp dám đầu tư vì những rủi ro. Mãi đến gần sát ngày V-League 2017 khởi tranh, tập đoàn Vạn Thịnh Phát & Bình Minh đã đứng ra tài trợ và rót tiền nuôi đội bóng. Trải qua 2 mùa giải thăng trầm, chỉ dám đặt mục tiêu trụ hạng dưới thời các HLV Alain Fiard và Toshiya Miura, đội bóng dưới sự lèo lái ông Chung Hae-seong đã lột xác thật sự ở V-League 2019.
Sau 6 vòng đấu, đại diện TPHCM hiện vẫn đang bất bại, thắng 5 hòa 1 và chễm chệ ngôi đầu bảng. Sẽ còn quá sớm để khẳng định họ là ứng cử viên số một cho chức vô địch bởi hành trình còn rất dài, nhưng đến giờ có thể khẳng định đại diện thành phố mang tên Bác sẽ là thế lực đáng gờm thách thức nhà đương kim vô địch Hà Nội ở mùa giải này. Câu chuyện về lời xin lỗi năm nào của họ vẫn được khán giả TPHCM nhắc lại như một quá khứ đau thương để làm "bàn đạp" cho thành công hôm nay.
