Di usia 17 tahun, Habib Ali pergi ke Mekah atas perintah ayahnya dan tinggal di sana selama dua tahun. Setelah itu, Habib Ali kembali ke Seiwun sebagai seorang alim dan ahli pendidikan.

Sementara itu, dikutip dari laman resmi Pondok Pesantren Al-Itqon, mak-alitqon.sch.id, Habib Ali pada usianya yang masih amat muda telah hapal Al-Qur’an sampai khatam, serta berhasil menguasai ilmu-ilmu zahir dan batin sebelum mencapai usia yang biasanya diperlukan untuk itu.

Sejak saat itu, ia diizinkan oleh para guru dan pendidiknya untuk memberikan ceramah dan pengajian. Habib Ali pun langsung menjadi pusat perhatian dan memperoleh tempat terhormat di hati setiap orang.

Selain aktif berdakwah, Habib Ali juga aktif menggemakan syiar Islam lewat pena. Di samping kitab Maulid Simthud Durar, ada pula karya lainnya yang disusun langsung olehnya maupun oleh murid-murid, para pengikut, dan keturunannya. Di antaranya adalah kitab-kitab kumpulan amalannya yang berisi wirid, hizib, ratib, dan lain-lain, yang sebagian besar berasal dari Al-Quran, hadits, dan amalan para ulama terkemuka.

Dua tahun sebelum wafat, Habib Ali kehilangan penglihatannya. Akhirnya pada waktu zuhur hari Ahad 20 Rabi’ul Akhir 1333 H/7 Februari 1915 M, di kota Seiwun, Hadhramaut, Habib Ali meninggal dunia.

Kala itu, jenazah Habib Ali disalatkan di halaman Masjid Riyadh pada keesokan harinya dan diimami oleh anak dan khalifah (penggantinya), Habib Muhammad. Jenazahnya lalu dikebumikan di sebelah barat Masjid Riyadh.

Habib Ali bin Muhammad Al-Habsyi meninggalkan lima anak dari dua istri. Salah satu dari antara anak-anaknya ada yang menetap di Kota Solo, yaitu Habib Alwi bin Ali Al-Habsyi merupakan pendiri Masjid Riyadh, Solo.

Nama masjid yang didirikannya di Solo itu sama dengan nama masjid yang didirikan Habib Ali di Hadhramaut, yaitu Masjid Riyadh. Habib Alwi pun kerap menyelenggarakan haul Habib Ali di Kota Solo.