Sekolah Tinggi Agama Islam (STAI) Al Mahdi sebagai Perguruan Tinggi keagamaan Islam di kabupaten FakFak didirikan pada tahun 1996, yang proses awal pendiriannya dicetuskan dan digagas oleh beberapa orang mantan aktifis Himpunan Mahasiswa Islam (HMI) asal FakFak yang ketika itu aktif sebagai Mahasiswa di beberapa Perguruan Tinggi di luar kota FakFak serta terlibat sebagai pengurus organisasi kemahasiswaan antara tahun 80 an sampai dengan tahun 90 an. Selama masa ini, mantan aktifis HMI ini terlibat dalam diskusi intens tentang masalah kemajuan umat Islam di Kabupaten FakFak, terutama untuk mendirikan Perguruan Tinggi Islam. Dari diskusi mantan aktifis HMI ini sampai kepada kesimpulan bahwa harus didirikan perguruan Tinggi di Kabupaten FakFak, terutama pada momen kegiatan LK II HMI Cabang Jayapura yang dilaksanakan di Sorong tahun 1992.

Sejak di dirikan tahun 1996 sampai sekarang, STAI Al Mahdi FakFak telah melaksanakan kegiatan akademik sebagaimana diatur dalam peraturan perundang-undangan tentang pendidikan tinggi (Tri Darma Perguruan Tinggi), dan mewisuda Sarjana sebanyak XV (lima bekas) angkatan, dan sudah banyak pula alumni STAI AL Mahdi yang diangkat sebagai pegawai Negeri Sipil, baik guru agama maupun tenaga penyuluh pada Kantor kemetrian agama kabupaten FakFak maupun pada kantor Kementrian pendidikan nasional kabupaten FakFak, bahkan di luar Kabupaten FakFak. Selama tahun 1996 sampai dengan tahun 2008, STAI Al Mahdi FakFak meminjam gedung madrasah Aliyah Negeri dan gedung Madrasah Tsanawiyah Negeri fakfak sebagai gedung dan tempat perkuliahan, dan syukur Alhamdulillah pada tahun 2009, telah menempati gedung sendiri yang dibangun dan di berikan Pemerintah Daerah Kabupaten FakFak .

Kini diusianya ke 29 tahun STAI Al-Mahdi semakin memantapkan diri sebagai perguruan tinggi keagamaan Islam di Kabupaten Fakfak dengan melaksanakan tri darma perguruan tinggi untuk menyiapkan sumber daya manusia (SDM) yang kompetitif rumpun ilmu agama bidang pendidikan dan hukum Islam. Hal ini sesuai dengan amanat peraturan perundang- undangan khususnya undang-undang nomor 12 tahun 2012 tentang Pendidikan Tinggi dan peraturan pelaksanaannya