Pada masa Khulafa ar-Rasyidin, khususnya pada masa pemerintahan Abu Bakar (11-13 H), dan Umar bin Khattab (13-23 H) persatuan umat Islam masih bisa dipertahankan, biarpun pada awal masa kekhalifahan Abu Bakar ash-Ṣiddiq sempat muncul beberapa nabi palsu dan keengganan sebagian umat Islam membayar zakat, namun semua permasalahan tersebut dapat diatasi oleh Abu Bakar ash-Ṣiddiq.
Benih-benih perpecahan mulai muncul pada akhir masa pemerintahan Utsman bin Affan, yaitu ketika Khalifah Utsman bin Affan (23-35 H) melakukan reformasi di bidang administratur pemerintahan. Kebijakan yang diambil Khalifah Utsman tersebut berdampak kepada situasi politik yang tidak stabil.
Situasi politik yang tidak stabil pada masa pemerintahan Khalifah Utsman bin Affan mencapai puncaknya dengan terbunuhnya khalifah ketiga tersebut. Peristiwa yang menyedihkan dalam sejarah Islam ini dikenal dengan istilah al-fitnah al-kubra (fitnah besar). Peristiwa ini dianggap sebagai pangkal munculnya firqah-firqah dalam Islam.
Intrik politik tidak menjadi reda dengan meninggalnya Utsman bin Affan. Bahkan pertikaian semakin membesar dengan terjadinya perang Jamal (pasukan khalifah Ali bin Abi Ṭālib melawan pasukan ‘Aisyah) dan perang Ṣiffin (pasukan khalifah Ali bin Abi Ṭālib melawan pasukan Mu’awiyah bin Abi Ṣufyān).
Perang Jamal dapat diselesaikan Khalifah Ali bin Abi Ṭālib dengan baik. Namun upaya damai yang ditempuh untuk mengakhiri perang Ṣiffin melalui upaya perundingan/ tahkīm justru membuat umat Islam terpecah menjadi beberapa golongan. Kelompok Ali bin Abi Ṭālib terpecah menjadi dua golongan.
Pertama, golongan yang tetap setia kepada Ali bin Abi Ṭālib, dan inilah yang menjadi embrio kelompok Syi’ah. Kedua, golongan yang memisahkan diri dari pasukan Ali bin Abi Ṭālib, dan inilah yang kemudian dikenal dengan firqah Khawārij. Di luar Syi’ah dan Khawārij, ada golongan pendukung Mu’awiyah bin Abu Ṣufyān. Pada masa ini, tema utama perdebatan para mutakallimīn adalah tentang hukum orang mukmin yang melakukan dosa besar.