KH Ruhiat lahir pada 11 November 1911 dari pasangan Abdul Ghofur dan Umayah. Semasa kecil ia dikirim ke pesantren terkenal di Singaparna saat itu, Pesantren Cilenga, yang diasuh oleh Kiai Sobandi atau Syabandi, murid Syekh Mahfudz at-Tarmasi. Di Cilenga saat itu didirikan sekolah tingkat menengah Matla' an-Najah. Ruhiat mengaji di Cilenga pada 1922-1926.

Kemudian ia menjadi santri kelana pada masa 1927-1928, berguru ke beberapa pesantren, di antaranya Pesantren Sukaraja (Garut) asuhan Kiai Emed, Pesantren Kubang Cigalontang (Tasikmalaya) asuhan Kiai Abbas Nawawi, dan Pesantren Cintawana (Singaparna) asuhan Kiai Toha yang pernah pula menjadi santri Syaikh Mahfudz at-Tarmasi. Melalui Ajengan Sobandi dan Ajengan Toha, silsilah keilmuan Ruhiat sampai pada Syaikh Mahfudz Tremas.

Dengan demikian, ia terhubung dengan silsilah keilmuan Hadratussyekh KH Hasyim Asy’ari yang merupakan murid dari Syekh Mahfudz at-Tarmisi.

KH Ruhiat mendirikan mendirikan Pesantren Cipasung pada 1932. Dalam mengajar santri ia menggunakan sistem ngalogat Sunda agar mereka lebih mudah memahami teks Arab kuning. Santri angkatan pertamanya berjumlah 40 orang, sebagian besar santri yang dibawanya dari Cilenga dan selebihnya warga sekitar Cipasung. 

Selain sebagai seorang kiai pendidik, KH Ruhiat adalah seorang pejuang gerakan kebangsaan yang melawan penjajahan Belanda. Ia pernah ditangkap Belanda dan dipenjara namun perjuangan tetap gigih.