Tapi sayangnya, ayah beliau, Al-Habib Abdurrahman Alhabsyi tidak lama hidup mendampingi putra yang beliau cintai tersebut. Beliau berpulang ke Rahmatulloh pada saat putra beliau masih berumur 10 tahun.
Habib Ali bin Abdurrahman Alhabsyi berpulang ke haribaan Allah SWT pada usianya ke 98 tahun, tepatnya pada hari Minggu tanggal 20 Rajab 1388 bertepatan dengan 13 Oktober 1968, di tempat kediaman beliau di Kwitang Jakarta.
Ketika Habib Ali bin Abdurrahman Al Habsyi berusia 20 tahun, beliau mengadakan pengajian sambil berdagang kecil-kecilan di Pasar Tanah Abang.
Pada usia itu pula Habib Ali bin Abdurrahman Al Habsyi menikah dengan Hababah Aisyah Aisyah Assegaf dari Banjarmasin, Kalimantan Selatan. Beliau dikaruniai sepuluh anak :
Anak-Anak Beliau:
- Sa’diyah
- Fatimah
- Zahra
- Muhammad
- Khadijah
- Rogayah
- Zainab
- Mahani
- Abdurrahman
- Maryam
Sanad dan Keilmuan
Sebelum beliau wafat, Al-Habib Abdurrahman Alhabsyi sempat menyampaikan suatu wasiat kepada istrinya agar putra beliau hendaknya dikirim ke Hadramaut dan Makkah untuk belajar ilmu agama Islam di tempat-tempat tersebut.
Untuk memenuhi wasiat suaminya, Nyai Salmah menjual gelang satu-satunya perhiasan yang dimilikinya untuk biaya perjalanan Habib Ali bin Abdurrahman Al Habsyi ke Hadramaut dan Makkah.
Karena di waktu wafatnya Al-Habib Abdurrahman Alhabsyi tidak meninggalkan harta benda apapun.
Dalam usia yang masih beliau (12 tahun), berangkatlah Habib Ali bin Abdurrahman Al Habsyi dari Jakarta menuju Hadramaut, dengan bekal sekedar ongkos tiket kapal laut sampai di tempat yang dituju.