Pendirian masjid ini diprakarsai oleh seorang ulama besar, KH Ahmad Bone, yang dalam pembangunannya direncanakan pada 1947. "Saat itu Ahmad mengusulkan agar dibangun sebuah masjid yang bisa merangkul seluruh jamaah dalam melaksanakan salat Jumat. Usulan itu disampaikan kepada tokoh masyarakat dan Pemerintah Kota Makassar," kata Muhammad Syahril, Imam Rawatib Masjid Raya Makassar.

Pembangunan masjid diketuai KH Muchtar Lutfi. Sedangkan bangunan awa