Perguruan Islam Al Mughni ditanamkan Guru Mughni mulai tahun 1925 di lokasi yang sama saat ini dengan bangunan yang lebih kecil. Berbekal pendidikan semasa kecil dan pendidikan dari Mekkah selama 10 tahun lebih, beliau aktif berdakwah hingga akhir hayatnya. Beliau mengajukan izin mendirikan masjid kepada pemerintah Belanda, namun tidak mendapat izin atas rekomendasi langsung dari Gubernur Belanda Snouck Hugronje. Pantang menyerah, beliau tetap mendirikan masjid yang kini terkenal dengan nama Masjid Baitul Mughni. Selain pendirian masjid dan sekolah, beliau juga aktif membantu para pejuang RI, menjadikan rumahnya sebagai tempat pertemuan H. Agus Salim dan kawan-kawan.