Sebelum menjadi khalifah, beliau pernah menjadi gabenor dan dipecat kerana ada perselisihan. Namun akhirnya, beliau menjadi khalifah apabila Khalifah Sulaiman bin Abdul Malik menamakan beliau sebagai pengganti keenam pada tahun 99 Hijrah.
Keperibadian beliau yang mulia membuatkan beliau disukai ramai serta sifat warak yang diwarisi moyangnya, Khalifah Umar Al-Khattab. Umar Abdul Aziz sangat berhati-hati dalam urusan harta negara dan rakyat sehinggakan beliau menyerahkan kesemua harta peribadi hatta harta isterinya kepada Baitulamal. Beliau mengembalikan semula tanah rakyat yang pernah dirampas khalifah terdahulu. Beliau juga memecat gabenor yang bertindak zalim dan digantikan dengan gabenor yang lebih baik. Beliau sangat mengambil berat tentang kebajikan rakyatnya sehingga banyak kisah yang tercatat yang menggambarkan sifat beliau yang adil dan amanah.
Penghayatan agama dalam kalangan rakyatnya juga ditekan dengan memerintahkan umatnya mendirikan solat secara berjemaah dan menjadikan masjid sebagai tempat mempelajari hukum Islam sepertimana pada zaman Rasulullah s.a.w. dan para zaman Khulafa’ ar-Rasyidin. Beliau juga mengarahkan para ilmuan menterjemahkan bidang ilmu daripada bahasa Greek, Latin dan Siryani ke dalam bahasa Arab. Beliau menghantar pakar-pakar hukum Islam ke negara luar seperti Afrika Utara, India, Turki demi mengukuhkan dakwah Islamiah. Sumbangan beliau yang paling besar ialah mengumpulkan hadis.
Sifat beliau yang tidak banyak bezanya dengan moyang beliau, Umar Al-Khattab. Beliau sangat dikenali dengan menjadikan keadilan sebagai keutamaan pemerintahannya. Di antara sifat-sifat Umar Al-Khattab dan Umar Abdul Aziz yang sama ialah amanah, mengamalkan kesederhanaan menjadi contoh dan disegani serta sentiasa mendahulukan orang lain dari diri sendiri.
