Setelah merdeka, pendidikan Islam mendapat kedudukan yang sangat penting dalam sistem pendidikan nasional. Di Sumatra, Mahmud Yunus sebagai pemeriksa agama pada kantor pengajaran mengusulkan kepada kepala pengajaran agar pendidikan agama di sekolah-sekolah pemerintah ditetapkan dengan resmi dan guru-gurunya digaji seperti guru umum dan usul pun diterima[1].
Selain itu pendidikan agama di sekolah juga mendapat tempat yang teratur, seksama, dan penuh perhatian. Untuk itu dibentuk Departemen Agama pada tanggal 13 Desember 1946 yang bertugas mengurusi penyelenggaraan pendidikan agama di sekolah umum dan madrasah serta pesantren-pesantren.
Pendidikan Islam setahap demi setahap diajukan. Istilah pesantren yang dulu hanya mengajar agama di surau dan menolak modernitas pada zaman kolonial, sudah mulai ikut mendirikan madrasah dan sekolah umum, sehingga pemuda Islam diberi banyak pilihan. Upaya ini merupakan usaha untuk menata diri ditengah-tengah realitas sosial modern dan kompleks. Pesantren juga telah lebih berkembang dengan berdirinya perguruan tinggi Islam.
Sekolah agama, termasuk madrasah, ditetapkan sebagai model dan sumber pendidikan Nasional yang berdasarkan Undang-undang 1945. ekstensi pendidikan agama sebagai komponen pendidikan nasional dituangkan dalam Undang-undang pokok pendidikan dan Pengajaran Nomor 4 Tahun 1950, bahwa belajar disekolah-sekolah agama yang telah mendapat pengakuan dari Menteri Agama dianggap telah memenuhi kewajiban belajar[2].
Pada tahun 1958 pemerintah terdorong untuk mendirikan Madrasah Negeri dengan ketentuan kurikulum 30% pelajaran agama dan 70% pelajaran umum. Sistem penyelenggaraannya sama dengan sekolah-sekolah umum dengan perjenjangan sebagai berikut :
- Madrasah Ibtidaiyah Negeri (MIN) setingkat SD lama belajar enam tahun.
- Madrasah Tsanawiyah Negeri (MTsN) setingkat SMP lama belajar tiga tahun.
- Madrasah Aliyah Negeri (MAN) setingkat SMA lama belajar tiga tahun.[3]
Pada masa awal kemerdekaan, pemerintah dan bangsa Indonesia mewarisi sistem pendidikan dan pengajaran yang dualisti, yaitu :
1) Sistem pendidikan dan pengajaran pada sekolah-sekolah umum yang sekuler, tak mengenal ajaran agama, yang merupakan warisan dari pemerintah Belanda.
2) Sistem pendidikan dan pengajaran Islam yang tumbuh dan berkembang di kalangan masyarakat sendiri, baik yang bercorak isolatif-tradisional maupun yang bercorak sintesis dengan berbagai variasi pola pendidikannya sebagaimana uraian tersebut diatas.
Kedua sistem pendidikan tersebut sering dianggap saling bertentangan serta tumbuh dan berkembang secara terpisah satu sama lain. Sistem pendidikan dan pengajaran yang pertama pada mulanya hanya menjangkau dan dinikmati oleh sebagian masyarakat, terutama kalangan atas saja. Sedangkan yang kedua (sistem pendidikan dan pengajaran islam) tumbuh dan berkembang di kalangan rakyat dan berurat berakar dalam masyarakat[4]. Hal ini diakui oleh badan komite nasional Indonesia pusat (BP-KNIP) dalam usul rekomendasinya yang disampaikan kepada pemerintah, tentang pokok-pokok pendidikan dan pengajaran baru, pada tanggal 29 Desember 1945.