Cette mosquée fut d'abord appelée Gaméa Al-Qahira (La Mosquée du Caire). Elle avait un seul minaret et occupait la moitié de l'espace qu'elle occupe aujourd'hui. La construction de la mosquée s'étendit sur deux ans. La mosquée d'Al-Azhar ouvrit ses portes pour la première fois au Ramadan 361 de l'hégire, (juin 972). Depuis sa construction, Al-Azhar devint la mosquée officielle pour la prière du vendredi suivant le modèle chiite. Les habitants des villes à proximité du Caire se dirigeaient tous les vendredi vers Al-Azhar pour écouter le sermon du vendredi (al-khoutba), donné par le calife fatimide, et accomplir la prière en congrégation.

Les historiens divergent quant à la raison de son appellation. Certains pensent que le nom Al-Azhar, littéralement « le plus florissant », fait référence aux magnifiques palais florissants qui entouraient la mosquée à cette époque, dans la ville du Caire en pleine construction et développement. Certains prétendent que la mosquée fut appelée ainsi en prévision du statut florissant qu'elle allait avoir grâce aux études islamiques qu'elle accueillait. Enfin, et c'est l'opinion la plus célèbre, le mot Al-Azhar renvoie à Al-Sayeda Fatéma Al-Zahraa, la fille du prophète Mohamad. Cette dernière opinion semble être la plus valable en ce sens que les Fatimides eux-mêmes tenaient leur nom de la fille du prophète.

Trois ans et demi après sa construction, Al-Azhar commença à jouer son rôle dans la diffusion et l'enseignement des sciences islamiques. En 998, Al-Azhar devint une université islamique à proprement parler. Au début du règne d'Al-Aziz Billah, Al-Azhar connut d'importants progrès dans le sens de l'enseignement académique. En plus de l'enseignement théorique et académique, des séances d'éducation morale et religieuse étaient dispensées pour les femmes. Dès sa naissance, l'enseignement à Al-Azhar eut un caractère éminemment académique, avec des discussions et débats libres entre savants. Aussi, l'enseignement à Al-Azhar mit en place l'accueil de professeurs visiteurs. C'est ainsi qu'Al-Azhar réunit les caractéristiques du système académique universitaire et devint incontestablement la plus ancienne université islamique du monde. L'éducation à Al-Azhar incluait la jurisprudence chiite-ismaélite, la grammaire arabe, la littérature et l'histoire. L'historien Al-Maqrîzî affirme que l'enseignement à Al-Azhar était tellement sectaire à sa naissance que la possession d'un ouvrage rédigé par un savant sunnite était sévèrement punie. Après sa construction, Al-Azhar fut directement financé par les califes fatimides. Par ailleurs, des Egyptiens aisés participaient à son financement en lui léguant une part de leur fortune ou propriétés privées.

Au fil du temps, l'enseignement s'est enrichi, les cours se sont diversifiés en incluant l'enseignement des quatre écoles de jurisprudence et l'enseignement de la littérature et de la langue arabe. La réputation d'Al-Azhar n'a cessé de croître et la tendance chiite s'est éclipsée au profit de la tendance sunnite dont Al-Azhar devint le centre le plus rayonnant.

Les Fatimides gouvernèrent l'Egypte pendant deux cents ans. Malgré l'appartenance des Fatimides à la secte chiite-ismaélite, le peuple égyptien resta fidèle à la tendance sunnite, enseignée dans des anciennes mosquées comme la mosquée Amr Ibn Al-Ass à Al-Fostat. Salaheddine instaura la dynastie des Ayyoubides où il rétablit le sunnisme. Il fit appel aux savants musulmans sunnites égyptiens, autrefois contraints à faire profil bas sous la dynastie fatimide. Il rétablit donc le sunnisme. Toutefois, il y approuva l'enseignement des quatre écoles de jurisprudence sunnites à Al-Azhar.

L'Egypte, première puissance islamique de l'époque, attira les flux de savants fuyant de l'Occident ainsi que de l'Orient à cause des guerres ou des persécutions.

Sous le règne des Mamelouks, entre 648 et 922 de l'hégire (1250-1517), Al-Azhar agrandit ses activités et assuma de nouvelles responsabilités envers le monde musulman. L'enseignement à Al-Azhar, qui connut alors son âge d'or aux VIIIe et IXe siècles de l'hégire (XIVe et XVe siècles). Il est à souligner qu'Al-Azhar joua un rôle important dans le développement de certaines sciences non religieuses. En effet, certains savants étudiaient aussi des sciences comme la médecine, les mathématiques, l'astronomie, la géographie et l'histoire.

Sous l'Empire ottoman, Al-Azhar fut financièrement dépendant des Waqfs (donations islamiques). Les savants avaient la liberté de choisir les disciplines et les ouvrages qu'ils souhaitaient enseigner. Ainsi, Al-Azhar devint le foyer de sciences islamiques le plus brillant, fort de son identité libre et son indépendance intellectuelle. Cette réputation d'Al-Azhar attira de nombreux savants et étudiants musulmans venant des quatre coins du globe.

Al-Azhar joua un rôle prépondérant dans la lutte contre la campagne militaire de Bonaparte en juillet 1789. Lieu de rencontre des savants et intellectuels pour combattre l'occupation française, Al-Azhar devint le siège de la révolution. Lorsque la révolution éclata, la mosquée d'Al-Azhar fut attaquée par les soldats français qui ont pénétré la mosquée à dos de cheval …

Des manuscrits uniques de la bibliothèque d'Al-Azhar furent détruits et l'événement resta gravé dans la mémoire égyptienne. Dans cette situation explosive, le Grand Imam d'Al-Azhar et les savants jugèrent impossible de poursuivre les cours. Dans sa longue histoire, c'est l'unique fois où Al-Azhar ferma ses portes. Après trois ans de révolte, le pays retrouva sa liberté et Al-Azhar reprit ses activités et demeurait jusqu'aujourd'hui le ventre principal pour les études islamiques.