Pada zaman Rasulullah SAW wilayah Islam hanya meliputi Kota Makkah, Madinah, dan Jazirah Arabia sehingga bentuk organisasi dan administrasi negara masih sederhana. Hal ini disebabkan karena pada masa Rasulullah SAW wilayah Islam belum begitu luas dan juga permasalahan negara masih belum kompleks sehingga merasa tidak perlu untuk mendirikan diwan (departemen-departemen) dalam menangani urusan-urusan negara. Kemajuan dalam bidang pemerintahan mulai terlihat sejak Khalifah Umar bin Khattab. Hal tersebut disebabkan oleh penaklukan-penaklukan yang dilakukan oleh umat Islam. Penaklukan yang paling penting ialah terhadap Kekaisaran Persia dan Romawi. Pada masa Umar inilah mulai dibentuk diwan (departemen-departemen) dengan mengadopsi model dari Kekaisaran Persia. Tugas diwan adalah menyampaikan perintah dari pemerintah pusat ke daerah-daerah dan menyampaikan laporan tentang prilaku dan tindakan-tindakan penguasa daerah kepada Khalifah Umar bin Khattab.

Organisasi dan administrasi negara mengalami perkembangan dari masa ke masa semenjak masa Khulafaur Rasyidin, Dinasti Umayyah hingga masa Dinasti Abbasiyah. Pada masa Dinasti Abbasiyah ini organisasi negara terdir dari:

1. An-Nidham As-Siyasi (organisasi politik) yang mencakup:

a. Al-Khilafaat (Kepala Negara). Terkait suatu sistem dalam pemilihan khalifah. Dalam memilih kepala negara berlaku sistem “bai’ah/baiat” yakni pelantikan putra mahkota yang telah dipilih oleh khalifah pendahulunya.

b. Al-Wizaraat/Wazir (Perdana Menteri) yang bertugas membantu khalifah dalam urusan administrasi pemerintahan.

c. Al-Kitabaat (Sekretaris Negara), terkait dengan pengangkatan orang untuk mengurusi sekretariat negara.

2. An-Nidham Al-Idary yaitu organisasi tata usaha/administrasi Negara.

3. An-Nidham Al-Maly yaitu organisasi keuangan Negara, mengelola masuk dan keluarnya uang Negara.

4. An-Nidham Al-Harby yaitu organisasi ketentaraan yang meliputi susunan tentara, urusan gaji tentara, urusan persenjataan, pengadaan asrama dan benteng-benteng pertahanan.

5. An-Nidham Al-Qadla’i yaitu organisasi kehakiman yang meliputi masalah-masalah pengadilan, pengadilan banding dan pengadilan damai.

Dalam menjalankan administrasi negara, khalifah dibantu oleh seorang oleh seorang wazir (perdana menteri) yang dibantu beberapa diwan (kementerian-kementerian) yang dipimpin oleh rais ad-diwan (kepala departemen) yang jumlahnya menurut kebutuhan. Diantara diwan-diwan tersebut adalah:

1. Diwan Al-Jundiy/ Diwan Al-Harby (Badan Pertahanan dan Keamanan). Berurusan dengan masalah-maalah militer, misalnya mencatat jumlah tentara, membagaikan gaji dan lain-lain.

2. Diwan Al-Kharaj/ Diwan Al-Maaly/ Bait Al-Maal (Departemen Keuangan). Tugasnya adalah mengurusi perbendaharaan negara, pajak tanah, pajak-pajak lain, pembelanjaan dan pembayaran gaji pegawai negara. Bagian dari diwan ini mencatat dan mengumpulkan hukum serta peraturan yang disusun oleh kepala dinas pajak. Kepala diwan dipilih dari orang yang adil dan cakap dalam mengatasi masalah-masalah keuangan, serta mampu untuk bekerja secara mandiri.

3. Diwan Al-Qudhat (Departemen Kehakiman) bertugas menangani masalah-masalah yang timbul dalam negara.

4. Diwan Al-Barid (Dinas Pos) bertanggung jawab atas penyampaian surat-surat dan pesan-pesan ke seluruh negeri. Ia berfungsi sebagai jaringan komunikasi dan juga sebagai dinas intelejen yang bertanggung jawab kepada kepala Negara.

5. Diwan Al-Mustaghallast didirikan untuk mengadministrasi tanah negara, termasuk hak milik pemerintah yang ada d kota dan di desa-desa, serta disewakan. Diwan ini merupakan departemen yang kecil dan biasanya berhubungan langsung dengan Diwan Al-Kharaj.

6. Diwan Ar-Rasail (Departemen Korespondensi) mempunyai tugas mengirim surat kepada para gubernur, pejabat pemerintah serta kepala Negara lain.

7. Diwan Al-Musadarah memiliki tugas mengawasi musuh-musuh politik.

8. Diwan Al-Azimah, memiliki tugas mengendalikan dan mengawasi laporan keuangan dari diwan-diwan lainya, mengawasi kerja mereka, dan bertindak sebagi penghubung antar Diwan dengan kantor menteri.

9. Diwan Al-Ahsham bertugas mengawasi orang-orang yang bertugas di dinas kerajaan.

10. Diwan Ar-Riqa fungsinya mengumpulkan petisi dan pengaduan yang akan diajukan kepada khalifah.

11. Diwan Al-Mazalim bertugas menerima pengaduan rakyat karena tindakan para penjabat negara. Diwan ini berada di bawah Diwan Al-Qudhat yang bertugas menyelidiki masalah yang diadukan.

12. Diwan Al-Sawad bertugas mengumpulkan seluruh pendapatan negara dan pajak tanah pertanian. Ini adalah diwan terpenting pada masa Khalifah Harun Ar-Rasyid.

13. Diwan An-Nafaqat bertugas mengelola pembelanjaan negara yang berkaitan dengan keperluan pengadilan. Diwan inilah yang mengurusi gaji pejabat pengadilan, perlengkapan, pembangunan dan perbaikan gedung-gedung pengadilan.

14. Diwan Ad-Diya bertugas mengawasi tanah, hak milik, investasi, penyewaan dan lain-lainya.

15. Diwan As-Sirr bertugas menjaga rahasia negara, Diwan ini mungkin bagian dari dewan menteri.

16. Diwan Al-Ard yang tugasnya memeriksa peralatan militer. Diwan ini diperkirakan merupakan bagian dari Diwan Al-Jundiy.