تاريخه توفي أبو حنيفة في بغداد زمن أبي جعفر المنصور عام 150ه، ودفن في شمال بغداد في مكان سمي بعد حين بمقبرة الخيزران نسبة إلى الخيزران بنت عطاء زوج الخليفة المهدي ووالدة الهادي وهارون الرشيد، والتي توفيت ودفنت هناك عام 173ه. بني الجامع عام 375ه، وبنيت عنده مدرسة كبيرة، ثم في عام 459ه (1066م)، بني مشهد وقبة على القبر وعرفت المنطقة الواقعة في جوار المشهد باسم محلة الإمام أبي حنيفة. وكان التدريس في المدرسة قاصرا على العلوم الدينية فقط.وقد وصف ابن جبير في رحلته إلى بغداد سنة 580ه (1184م) الجانب الشرقي من بغداد بما يلي: "وبأعلى الشرقية خارج البلدة محلة كبيرة بإزاء محلة الرصافة كان باب الطاق المشهور على الشط، وفي تلك المحلة مشهد حفيل البنيان له قبة بيضاء سامية في الهواء فيه قبر الإمام أبي حنيفة وبه تعرف المحلة.ووصف ابن بطوطة مدينة بغداد بزيارته عام 727ه (1327م) وذكر المساجد التي تقام الجمعة فيها وهي جامع الخليفة وجامع السلطان وجامع الرصافة بالأعظمية وبينه وبين جامع السلطان نحو الميل، وبقرب الرصافة قبر الإمام أبي حنيفة. ولولا وجود مشهد الإمام أبي حنيفة ومدرسته في بغداد لكانت المنطقة اندثرت وزالت بعد سقوط بغداد ودخول "هولاكو" كما اندثرت مناطق عديدة منها. أثناء وجود الصفويين في بغداد تم و لمرات عدة هدم مشهد الامام أبي حنيفة وتحطيم المدرسة بسبب الفتنة الطائفية. وقد لقي المشهد والمسجد بعض العناية من قبل الملك محمد بن منصور الخوارزمي بعد مجيء العثمانيين إلى بغداد عام 1534م. وشهد ذلك العام إصلاحات من قبل السلطان سليمان القانوني، فعند عودة السلطان من زيارته لكربلاء والنجف زار قبر الامام أبي حنيفة الذي كان مهدما فأمر بإعادة تشييد القبة وإعمار الجامع والمدرسة وأمر كذلك بتعمير دار ضيافة وحمام وخان وأربعين إلى خمسين دكانا حوله..ثم أمر بتعمير قلعة لحراسة الجامع والمدرسة والمنطقة ووضع جنودا بلغ عددهم نحو 150 ومعهم معدات حربية ومدافع لحماية المكان. وكانت بعد ذلك إصلاحات أخرى على يد السلطان مراد الرابع عند دخوله بغداد عام 1048ه (1638م) حيث جاء معه إلى الأعظمية بعض من قبيلة العبيد وسكنوا حول ضريح الإمام أبو حنيفة لحمايته. وفي عهد المماليك وتحديدا الوالي سليمان باشا (ابو ليلة) جدد المرقد وأنشئت المنارة والقبة عام 1757م. وعام 1291ه (1874م) جدد بناء الجامع بأمر السلطانة والدة السلطان عبد العزيز. وقد بقيت مدرسة الإمام الأعظم المدرسة الوحيدة في الأعظمية إلى جانب بعض الكتاتيب لتعليم القراءة والكتابة والقرآن حتى سنة 1918م حيث أعيد إعمار الجامع وتنظيم المدرسة التي سميت كلية الأعظمية ثم دار العلوم الدينية والعربية ثم كلية الشريعة ثم كلية الإمام الأعظم. وكانت هناك بعض أعمال الترميم خلال العهد الملكي. وبعد 14 تموز 1958 تم بناء برج اسطواني بارتفاع 25م وكسي بالفسيفساء الأزرق والأبيض ليكون جاهزا لاستقبال ساعة الأعظمية التي نصبت عام 1961م وبقيت تعمل بانتظام. وفي عام 1973 قامت وزارة الأوقاف بكساء البرج بصفائح من الألمنيوم المضلع باللون الذهبي. وكانت هناك كذلك بعض أعمال الترميم خلال العهد الجمهوري، وكذلك خلال ثمانينيات القرن العشرين. وبعد الغزو الأمريكي للعراق عام 2003م حدثت معركة عسكرية في الأعظمية يوم 10 نيسان 2003 تم على إثرها تدمير جزء من منارة الجامع والساعة والضريح وأجزاء أخرى داخل الجامع. وتعطلت صلاة الجمعة بعدها لمرة واحدة، ثم قام جمع خير من أهالي الأعظمية بتنظيف المكان وإزالة الزجاج المتهشم وآثار المعركة وحماية الجامع والمرقد والكلية من محاولات ذوي النفوس الضعيفة للسرقة، وأقيمت الصلاة في الجمعة التالية. وقد قام ديوان الوقف السني وبالتعاون مع عدد من الشركات الساندة، وكذلك مع عائلة السيد محسوب الشهيرة بالأعظمية ومساعدة بعض شباب المنطقة، ومنذ عام 2003م بترميم الجامع والمرقد الشريف وإعادة نصب ساعة الأعظمية إلى برجها، وإلى اليوم تتواصل الجهود في تحديث وترميم المكان. وثائق محفوظة في مكتبة الجامع وثائق قيّمة مهداة وموقوفة من قبل بعض المتبرعين تشمل: مصحف كبير ومذهب ومزخرف هدية من الحاج حافظ محمد امين الرشدي سنة 1236ه للسلطان محمود. وقد طبعته وزارة الأوقاف ثلاث مرات 1379ه، 1386ه، و1391ه. والطبعات الثلاث بإشراف الخطاط هاشم محمد البغدادي. والمصحف المشهور ب (قرآن أنور باشا) بخط اسطنبولي محلى بالذهب، غلافه من الذهب مرصع بالألماس، أهدي خلال الحرب العالمية الأولى. ومصحف كتبته امرأة. ومصحف ضخم جدا مذهب ومزخرف على أطرافه تعليقات كوفية مزخرفة بالذهب، كتب سنة 1048ه. أهداه مصطفى باشا. ومصحف مذهب ياقوتي سطر كبير والبقية أسطر صغيرة، كتبه سنة 1100ه محمد الكاتب. وهو النسخة الخامسة والعشرون مما نمقه.