Mereka bertiga sepakat untuk membunuh tiga orang yang mereka anggap biang-kerok gejolak dan kisruh di tengah umat Islam saat itu. Abdurrahman bin Muljam bersedia membunuh Ali, al-Hajjaj bin Abdullah bersiap membunuh Mu’awiyah, dan ‘Amr bin Bakr mendapat tugas membunuh ‘Amr bin ‘Ash. Ibnu Muljam dan kawan-kawan sepakat melakukan pembunuhan di hari yang sama, bahkan di waktu yang sama, yaitu waktu shalat subuh tanggal17 Ramadhan tahun 40 Hijrah.
Sebelum rencana keji itu mereka eksekusi, mereka tinggal dulu di Mekkah beberapa bulan, mereka berumrah di bulan Rajab, lalu berpencar untuk menjalankan misi yang sama: pembunuhan! Di hari dan waktu yang telah ditentukan, al-Hajjaj bin Abdullah berusaha membunuh Mu’awiyah. Tapi gagal lantaran, kata sebagian sejarawan, Mu’awiyah memakai baju pelindung. Ada juga yang bilang karena al-Hajjaj memang gagal menjangkau Mu’awiyah. Seperti Mu’awiyah, ‘Amr bin ‘Ash juga selamat dari pembunuhan. ‘Amr bin Bakr gagal membunuh ‘Amr bin ‘Ash. Subuh itu ‘Amr bin ‘Ash tidak pergi ke masjid untuk berjamaah shalat subuh. ‘Amr bin ‘Ash sedang sakit. Sial menimpa Kharijah bin Hudzafah yang diutus ‘Amr bin ‘Ash menggantikannya mengimami shubuh. ‘Amr bin Bakr membacok Kharijah bin Hudzafah yang dikiranya ‘Amr bin ‘Ash.
Adapun Abdurrahman bin Muljam yang tinggal di Kufah, tidak sabar menunggu waktu yang telah ditentukan. Di penghujung malam untuk hari yang telah disepakati, ia keluar rumah ditemani seorang asisten. Mereka berdua mengamati situasi, menunggu Ali keluar rumah untuk mengimami salat shubuh di masjid. Begitu Ali keluar rumah lalu menyeru orang-orang untuk salat shubuh, Ibnu Muljam dan temannya menebaskan pedang ke arah Ali. Pedang Ibnu Muljam mengenai kening Ali sampai menembus otaknya. Sedang pedang temannya jatuh di dinding rumah. Ali tersungkur seraya berkata, “Orang itu jangan sampai lepas dari kalian!”
Abdurrahman bin Muljam berhasil diringkus. Sedang temannya dibunuh karena berusaha melarikan diri. Ali dibawa ke rumahnya. Ia masih bertahan dua hari satu malam. Ia wafat di malam kedua. Para sejarawan mencatat bahwa Ibnu Muljam, ketika mengayunkan pedang ke Ali, berkata, “Hukum hanya milik Allah, hai Ali, bukan milikmu!” Sedang Ali ketika itu menyeru orang-orang, “Dirikan salat, hai hamba-hamba Allah!” Para ahli sejarah juga menceritakan bahwa Ali meminta orang-orang untuk tetap memperlakukan Ibnu Muljam dengan baik, antara lain dengan memberinya makan yang cukup.
Ali juga masih sempat memutuskan apa tidakan yang harus diterapkan atas Ibnu Muljam: jika ia masih dapat bertahan hidup, maka ia akan berpikir apakah memaafkan Ibnu Muljam atau mengqisasnya. Tapi jika ia meninggal, maka ia meminta orang-orang untuk membunuh Ibnu Muljam tapi tidak bertindak berlebihan dalam membunuhnya. Allah tidak menyukai orang-orang yang bertindak berlebihan. Diceritakan juga bahwa kata-kata terakhir dari lisan Ali adalah ayat ini: “Barangsiapa yang mengerjakan kebaikan seberat dzarrah pun, niscaya dia akan melihat (balasan)-nya. Dan barangsiapa yang mengerjakan kejahatan sebesar dzarrah-pun, niscaya dia akan melihat (balasan)-nya pula” (QS al-Zalzalah: 7-8).
Kaum Sunni menyatakan bahwa Ali tidak menunjuk seorang pun untuk jadi penggantinya. Ketika ditanya bagaimana tentang pembaiatan putranya, al-Hasan, sepeninggalnya, Ali berkata, “Aku tidak memerintahkan kalian, tapi tidak pula melarang kalian.” Tapi kalangan Syiah lain lagi pernyataannya. Menurut mereka, Ali mewasiatkan khilafah untuk al-Hasan. Bagaimana pun, persoalan ini merupakan perbedaan pendapat sengit yang akan sangat panjang jika dibahas. Ini bukan tempatnya untuk itu.
Yang jelas, Ali pada akhirnya meninggal juga di malam kedua dari tebasan sadis pedang Ibnu Muljam. Yang jelas pula, orang-orang yang dipercaya untuk membunuh Ibnu Muljam, mereka tidak melaksanakan wasiat Ali agar mereka membunuhnya dan tidak berlebihan. Mereka membunuh Ibnu Muljam dengan cara yang sangat keji. Setelah Ibnu Muljam mati, mereka membakarnya!
Ali meninggal saat ia sedang menghadapi banyak persoalan. Ia sedang mengembalikan semangat para pengikutnya untuk bangkit bersamanya dalam perang Syam. Ia juga sedang mengutus banyak pasukan untuk membendung serangan-serangan Mu’awiyah ke Irak, Hijaz, dan Yaman. Di saat sama ia sedang memerangi kaum Khawarij yang terang-terangan menyatakan permusuhan terhadap dirinya dan menebarkan ketakutan di tengah-tengah khalayak. Sikap tegas Ali terhadap kelompok Khawarij itu membuat beberapa orang dari kelompok itu merasa tertekan. Mereka juga teringat akan saudara-saudara mereka sesama Khawarij yang terbunuh di Nahrawan dan kejadian-kejadian lain yang melibatkan Ali versus kelompok Khawarij. Abdurrahman bin Muljam, al-Hajjaj bin Abdullah, dan ‘Amr bin Bakr adalah orang-orang Khawarij yang merasa tertekan tersebut.
Kabar wafatnya Ali sampai pula ke Madinah. Ada yang bilang bahwa Ali kini sudah tenang dan istirahat. Benar, dengan kematiannya Ali sudah istirahat dari banyak persoalan. Tapi apakah ia sudah benar-benar tenang, patut diragukan. Yang dapat dipastikan, kematiannya justru tidak menenangkan siapa pun, melainkan mewariskan perselisihan dan persengketaan di antara kaum Muslim yang entah kapan akan berakhir.
