Rahmah El-Yunusiyah dilahirkan pada hari Jumat 20 Desember 1900 di Bukit Surungan, Padang Panjang, Sumatera Barat. Anak bungsu dari lima bersaudara ini merupakan  putri dari pasangan Muhammad Yunus dan Rafiah.

Rahmah berasal dari keluarga yang taat beragama. Ayahnya adalah seorang ulama besar yang menjabat  sebagai kadi di negeri Pandai Sikat, Padang Panjang. Dia juga seorang haji yang pernah mengenyam pendidikan agama selama empat tahun di Mekkah.

Kakak sulungnya, Zainuddin Labay merupakan  seorang  tokoh pembaharu sistem pendidikan Islam  Diniyah School yang didirikan tahun 1915. Zainudin Labay mengusai beberapa bahasa asing yaitu Inggris, Arab, Belanda.

Dengan kemahirannya berbahasa asing menyebabkan wawasan Zainuddin sangat luas. Dialah yang menjadi guru, pemberi inspirasi, dan pendorong cita-cita Rahmah el-Yunusiyah.