La gran extensión del imperio hizo necesario crear una amplia administración, que se inspiró en modelos bizantinos y persas:
- En las provincias, los gobernadores, llamados valies o emires, tuvieron la autoridad civil y con le tiempo, incluso militar.
- La administración central, los visires o ministros eran los encargados de la dirección de los principales servicios y colaboraban con el califa. En España existió, entre el califa y el visir, una figura intermedia, la del hayib o primer ministro.
- Para la administración de justicia, los califas nombraron jueces o cadíes en todas las ciudades del imperio.