Ditinjau dari segi bahasa (etimologi), para ahli berbeda pendapat tentang nisbah/sandaran asal kata tasawuf. Harun Nasution menyebutkan lima istilah yang berkenaan dengan asal kata tasawuf, yaitu:
- Ṣafa (suci). Disebut ṣafa (suci) karena kesucian batin kaum sufi dan kebersihan tindakan dan keikhlasannya.
- Ṣaff (barisan). Karena kaum sufi mempunyai iman kuat, jiwa bersih, ikhlas dan senantiasa memilih barisan yang paling depan dalam ṣalat berjama’ah.
- Theosophi (Yunani: theo = Tuhan; shopos = hikmah, ilmu yang tinggi dan dalam); yang artinya hikmah / kearifan ketuhanan.
- Ṣuffah (serambi tempat duduk); yakni serambi masjid Nabawi di Madinah yang disediakan untuk orang-orang yang belum mempunyai tempat tinggal dari kalangan Muhajirin di masa Rasulullah Mereka bisaa dipanggilahli shuffah (pemilik serambi) karena di serambi masjid itulah mereka bernaung.
- Ṣūf (bulu domba); hal ini disebabkan kaum sufi bisaa menggunakan pakaian dari bulu domba yang kasar, sebagai lambang akan kerendahan hati mereka, juga untuk menghindari sikap sombong di hatinya di samping untuk menenangkan jiwa, serta meninggalkan usaha-usaha yang bersifat duniawi. Syuhrawardi mengatakan bahwa mereka berkumpul di masjid Madinah, seperti halnya orang sufi berkumpul di Zawiyah dan Mereka tidak tergerak untuk berusaha mencari nafkah dan membutuhkan hidup. Rasulullah sendiri membantu mereka untuk memperhatikan dan memberi bantuan kepadanya.
Sedangkan secara terminologi, berikut ini adalah beberapa definisi tasawuf yang diungkapkan oleh para ahli:
- Abu Yazid Al-Bustami (w. 261 H / 875 M), pencetus teori fana’ baqa’ dan ittihad mengemukakan bahwa tasawuf meliputi tiga aspek, yaitu kha’, ha’ dan jim. Kha’ maksudnya takhalli berarti mengosongkan diri dari perangai yang tercela; ha’ maksudnya tahalli berarti menghiasi diri dengan akhlak terpuji, dan jim maksudnya tajalli, berarti mengalami kenyataan
- Al-Junaid al-Baghdadi (w. 297 H/910 M) yang dikenal dengan bapak tasawuf Ia mendefinisikan tasawuf sebagai keberadaan bersama Allah SWT tanpa adanya penghubung. Baginya tasawuf berarti membersihkan hati dari sifat yang menyamai binatang, menekan sifat basyariyah, menjauhi hawa nafsu, memberikan tempat bagi sifat kerohanian, berpegang pada ilmu kebenaran, memberi nasihat kepada umat, benar-benar menepati janji kepada Allah SWT dan mengikuti syari’at Rasulullah Saw.
- Syaikh Abul Hasan asy-Syadzili (w.1258), Syaikh sufi besar dari Arika Utara, mendefinisikan tasawuf sebagai praktik dan latihan diri melalui cinta yang dalam dan ibadah untuk mengembalikan diri kepada jalan
- Muhammad Amin al-Kurdy memandang tasawuf sebagai suatu ilmu yang dengannya dapat diketahui hal-hal yang terkait dengan kebaikan dan keburukan jiwa, cara membersihkannya dengan sifat-sifat terpuji, cara melakukan suluk, melangkah menuju keridhoan yang diperintahkan-Nya. Orang sufi menurut Al-Kurdi yaitu orang yang hatinya jernih, terhindar dari kehidupan buruk, dan senantiasa terisi oleh nur ilahi, sehingga kemurnian hatinya bagaikan emas.
- Zakaria al-Anshari (852– 925 H/ 1448-1519 M) seorang penulis tasawuf memandang tasawuf sebagai cara menyucikan diri, meningkatkan akhlak dan membangun kehidupan jasmani dan rohani untuk mencapai kebahagiaan abadi. Unsur utama tasawuf adalah penyucian diri dan tujuan akhirnya adalah kebahagiaan dan keselamatan.
- Ibrahim Basyuni mengkategorikan pengertian tasawuf pada tiga hal: Pertama, al- Bidayah, yaitu pemahaman tasawuf pada tingkat permulaan yaitu menekankan kecenderungan jiwa dan kerinduannya secara fitrah kepada Yang Maha Mutlak, sehingga orang senantiasa berusaha mendekatkan diri kepada Allah Kecenderungan jiwa seperti ini menurutnya dimiliki oleh setiap manusia. Dalam fitrah inilah manusia berbeda dengan binatang. Kedua, al-Mujahadah, yaitu pemahaman tasawuf pada pengalaman yang didasarkan pada kesungguhan yaitu yang lebih menonjolkan akhlak dan amal dalam pendekatan diri kepada Allah Swt. Ketiga, al-Madzaqat yaitu pemahaman tasawuf pada pengalaman batin dan perasaan keberagamaan, terutama dalam mendekati dzat yang mutlak. Dari ketiga pemahaman kategori tasawuf di atas, Basyuni menyimpulkan bahwa tasawuf adalah kesadaran murni yang mengerahkan jiwa secara benar kepada amal dan aktivitas yang sungguh-sungguh dan menjauhkan diri dari keduniawian dalam mendekatkan diri kepada Allah Swt. untuk mendapatkan perasaan dalam berhubungan dengan-Nya.
- Amin Syukur mendefinisikan tasawuf sebagai sistem latihan dengan kesungguhan (riyāḍah, mujahadah) untuk membersihkan, mempertinggi dan memeperdalam aspek kerohanian dalam rangka mendekatkan diri kepada Allah (taqarrub) sehingga segala perhatian hanya tertuju kepada-Nya.
Merujuk kepada pengertian di atas, maka tasawuf dapat didefinisikan sebagai suatu ilmu untuk mengetahui bagaimana cara menyucikan jiwa, menjernihkan akhlaq, membangun dhahir dan batin, untuk memperoleh kebahagiaan yang abadi.