Istilah Khawārij berasal dari Bahasa Arab “khawārij”, yang berarti mereka yang keluar. Nama ini digunakan untuk memberikan atribut bagi pengikut Ali bin Abi Ṭālib yang keluar dari golongannya dan kemudian membentuk kelompok sendiri. Penamaan terhadap kelompok yang keluar dari pasukan Ali bin Abi Ṭālib bukanlah julukan yang diberikan dari luar kelompoknya saja, tetapi mereka juga menamakan diri dengan sebutan Khawārij dengan pengertian orang-orang yang
keluar pergi perang untuk menegakkan kebenaran. Penamaan ini diambilkan dari QS. An-Nisa’ (4): 100.
Artinya: Barangsiapa berhijrah di jalan Allah, niscaya mereka mendapati di muka bumi ini tempat hijrah yang luas dan rezeki yang banyak. Barangsiapa keluar dari rumahnya dengan maksud berhijrah kepada Allah dan Rasul- Nya, kemudian kematian menimpanya (sebelum sampai ke tempat yang dituju), maka sungguh telah tetap pahalanya di sisi Allah. Dan adalah Allah Maha Pengampun lagi Maha Penyayang. (QS. An-Nisa’ [4]: 100.)
Nama lain Khawārij adalah harūriyah yang dinisbahkan kepada perkataan harur, yaitu nama sebuah desa yang terletak di kota Kufah di Irak, dimana kaum Khawārij yang berjumlah 12.000 orang bertempat sesudah memisahkan diri dari pasukan Ali. Disini mereka memilih Abdullāh bin Wahab al-Rasyidi menjadi imam sebagai ganti Ali bin Abi Ṭālib.
Rekam jejak kaum Khawārij telah ada sejak zaman Nabi Muhammad Saw. Diriwayatkan dari sahabat Abu Sa’id al-Khudri ra, ia berkata: Ketika kami berada di sisi Rasulullah Saw. dan beliau sedang membagi-bagi (harta), datanglah Dzul
Khuwaisirah dari Bani TaUmimJIkepPadUa bBeliaLu. IIaKberkata: “Wahai Rasulullah, berbuat
adillah!” Rasulullah Saw. pun bersabda: “Celakalah engkau! Siapa lagi yang berbuat adil jika aku tidak berbuat adil? Benar-benar merugi jika aku tidak berbuat adil.”
Maka Umar bin Khaṭab ra. berkata: “Wahai Rasulullah, ijinkanlah aku untuk memenggal lehernya!” Rasulullah berkata: “Biarkanlah ia, sesungguhnya ia akan mempunyai pengikut yang salah seorang dari kalian dinilai bahwa salat dan puasanya tidak ada apa-apanya dibandingkan dengan salat dan puasa mereka, mereka selalu membaca al-Qur’an namun tidaklah melewati kerongkongan mereka, mereka keluar dari Islam sebagaimana keluarnya anak panah dari ar-ramiyyah, dilihat nashl-nya (besi pada ujung anak panah) maka tidak didapati bekasnya. Kemudian dilihat rishaf– nya (tempat masuk nashl pada anak panak) maka tidak didapati bekasnya, kemudian dilihat dari nadhi-nya (batang anak panah) maka tidak didapati bekasnya, kemudian dilihat qudzadz-nya (bulu-bulu yang ada ada anak panah) maka tidak didapati pula bekasnya. Anak panah itu benar-benar dengan cepat melewati lambung dan darah hewan buruan. Ciri-cirinya: di tengah-tengan mereka; ada seorang laki-laki hitam, salah satu lengannya seperti payu dara wanita atau seperti daging yang bergoyang- goyang, mereka akan muncul di saat terjadi perpecahan di antara kaum muslimin.”
Timbul-tenggelamnya Khawārij juga dapat dilacak pada akhir masa pemerintahan Utsman bin Affan. Dr. Saleh bin Fauzan al-Fauzan menyatakan: “Mereka adalah orang-orang yang memberontak di akhir masa pemerintahan Utsman bin Affan yang mengakibatkan terbunuhnya Utsman bin Affan”. Setelah pemerintahan dipegang oleh Ali bin Abi Ṭalib, mereka juga memberontak dengan dalih, pemerintahan Ali telah menyalahi hukum yang dibuat oleh Allah. Dalam perkembangan selanjutnya, kelompok Khawārij selalu memberontak kepada pemerintahan yang sah. Hal ini sesuai dengan salah satu doktrin politiknya, yaitu memberontak terhadap pemerintah dan memisahkan diri dari jama’ah muslimin merupakan bagian dari agama.
Asy-Syahratsani berkata: “Siapa saja yang keluar dari ketaatan terhadap pemimpin yang sah, yang telah disepakati, maka ia dinamakan khariji (seorang khawārij), baik keluarnya di masa sahabat terhadap al-Khulafa ar-Rasyidin atau kepada pemimpin setelah mereka di masa tabi’in, dan juga terhadap pemimpin kaum muslimin di setiap masa.”
Al-Imam an-Nawawi berkata: “Dinamakan Khawārij dikarenakan keluarnya mereka dari jama’ah kaum muslimin. Dikatakan pula karena keluarnya mereka dari jalan (manhaj) jamaah kaum muslimin, dan dikatakan pula karena sabda Rasulullah Saw. .: “Akan keluar dari diri orang ini…” (HR. Muslim)