Menurut sejarah, aliran syiah mulai muncul di akhir masa kekhalifaan Utsman bin Affan. Yaitu Abdullah bin Saba seorang Yahudi yang menjadi seorang muslim dan disebut sebagai agen Yahudi untuk disusupkan ke dalam umat Islam guna merusak tatanan agama dan masyarakat muslim. Walaupun bagi umat Syiah sejarah ini dibantah dan tokoh Abdullah bin Saba dinyatakan sebagai seorang tokoh fiktif, namun beberapa riwayat sudah menjelaskan mengenai sejarah Syiah dan tokoh tersebut.
Syiah sendiri merupakan salah satu sekte pecahan dari Islam. Dalam keyakinan Syiah dikatakan bahwa Rasulullah menunjuk Ali bin Abi Thalib sebagai pengganti kekhalifaan Islam selanjutnya. Mereka percaya bahwa keluarga Muhammad (yaitu para imam Syiah) adalah sumber pengetahuan terbaik tentang Quran dan Islam, guru terbaik tentang Islam setelah Nabi Muhammad, dan pembawa serta penjaga terpercaya dan tradisi Sunnah.
Secara khusus, Syiah berpendapat bahwa Ali Bin Abi Thalib, yaitu sepupu dan menantu Muhammad dan kepala keluarga Ahlul Bait adalah penerus kekhalifaan setelah Nabi Muhammad, yang berbeda dengan khalifah lainnya yang diakui oleh Sunni. Menurut keyakinan Syiah, Ali Bin Abi Thalib berkedudukan sebagai khalifah dan imam melalui wasiat Nabi Muhammad.
Istilah Syiah berasal dari Bahasa Arab dan pengikut Syiah disebut Syi’i. Kata Syiah menurut estimologi Bahasa Arab yang bermakna, pembela dan pengikut seseorang. Selain itu juga bermakna, kaum yang berkumpul atas suatu perkara. Adapun menurut terminology Islam kata ini bermakna, mereka yang menyatakan bahwa Ali bin Abi Thalib adalah yang paling utama diantara para sahabat dan yang berhak untuk memegang tampuk kepemimpinan atas kaum muslim, demikian pula anak cucunya.
Pada masa kekhalifaan Ali juga muncul golongan Syiah, akan tetapi mereka menyembunyikan pemahaman mereka, mereka tidak menampakkannya kepada Ali dan pengikutnya. Saat itu mereka terbagi menjagi tiga golongan.
- Golongan yang menganggap Ali sebagai Tuhan. Ketika mengetahui sekte ini Ali membakar mereka dan membuat parit-parit di depan pintu masjid Bani Kandah untuk membakar mereka. Imam Bukhari meriwayatkan dalam kitab shahihnya, dari Ibnu Abbas ia mengatakan, “Suatu ketika Ali memerangi dan membakar orang-orang zindiq (Syiah yang menuhankan Ali). Andaikan aku yang melakukannya aku tidak akan membakar mereka karena Nabi pernah melarang penyiksaan sebagaimana siksaan Allah (dibakar), akan tetapi aku pasti akan memenggal batang leher mereka, karena Nabi bersabda:
“Barangsiapa yang mengganti agamanya (murtad) maka bunuhlah ia“
- Golongan Sabbah(pencela). Ali mendengar tentang Abu Sauda (Abdullah bin Saba’) bahwa ia pernah mencela Abu Bakar dan Umar, maka Ali mencarinya. Ada yang mengatakan bahwa Ali mencarinya untuk membunuhnya, akan tetapi ia melarikan diri.
- Golongan Mufadhdhilah, yaitu mereka yang mengutamakan Ali atas Abu Bakar dan Umar. Padahal telah diriwayatkan secara mutawatirdari Nabi Muhammad bahwa beliau bersabda,
“Sebaik-baik umat ini setelah nabinya adalah Abu Bakar dan Umar”.
Riwayat semacam ini dibawakan oleh imam Bukhari dalam kitab shahihnya, dari Muhammad bin Hanafiyyah bahwa ia bertanya kepada ayahnya, siapakah manusa terbaik setelah Rasulullah, ia menjawab Abu Bakar, kemudian siapa? dijawabnya, Umar.
Dalam sejarah Syiah mereka terpecah menjadi lima sekte yang utama yaitu Kaisaniyyah, Imamiyyah (Rafidhah), Zaidiyyah, Ghulat dan Ismailliyah.
Hubungan antara Sunni dan Syiah telah mengalami kontroversi sejak masa awal terpecahnya secara politis dan ideologis antara para pengikut Bani Umayyah dan para pengikut Ali bin Abi Thalib. Sebagian kaum Sunni menyebut kaum Syiah dengan nama Rafidhah, yang menurut etimologi bahasa Arab bermakna meninggalkan.
Sebagian orang Islam menganggap firqah (golongan) ini tumbuh tatkalas eorang Yahudi bernama Abdullah bin Saba yang menyatakan dirinya masuk Islam, mendakwakan kecintaan terhadap Ahlul Bait, terlalu memuja-muji Ali bin Abu Thalib, dan menyatakan bahwa Ali mempunyai wasiat untuk mendapatkan kekhalifahan. Syiah menolak keras hal ini. Menurut Syiah, Abdullah bin Saba’ adalah tokoh fiktif. Salah satu ulama besar Syi’ah menulis Kitab Khusus mengenai kefiktifan sosok Abdullah bin Saba ini. Namun demikian, An-Naubakhti menganggap Abdullah bin Saba’ benar ada, dan menuliskan hingga belasan riwayat lengkap dengan sanad yang mutawatir bahwa Abdullah bin Saba’ ada.
Namun terdapat pula kaum Syiah yang tidak membenarkan anggapan Sunni tersebut. Golongan Zaidiyyah Batriyah misalnya, tetap menghormati sahabat Nabi yang menjadi khalifah sebelum Ali bin Abi Thalib. Mereka juga menyatakan bahwa terdapat riwayat-riwayat Sunni yang menceritakan pertentangan di antara para sahabat mengenai masalah imamah Abu Bakar dan Umar.