يقال في الكتب التاريخية وعند بعض المهتمين بشؤون المسجد أنه من تشييد محمد بوعلي البغدادي عام 530 هجري الموافق لسنة 1136 ميلادي، وهذا وفق عبارة وجدت منحوتة بالعربية عثر عليها حول المحراب، جاء فيها “هذا من عمل محمد بوعلي البغدادي” الجامع الكبير، كما اعتاد سكان ولاية قسنطينة تسميته، أوالجامع الأعظم، من بين أقدم المساجد بالولاية الذي لايزال يحتل مكانة وأهمية رغم المنجزات الحضارية المتعددة بقلب المدينة القديمة، يتربع على مساحة معتبرة ويطل على عدة أحياء مهمة عرفت عدة وقائع تاريخية. كما يقال إن تاريخ بنائه وافق فترة الدولة الصنهاجية الحمادية، وبالتحديد أيام الأمير بن تميم بن المعز بن باديس، أحد ولاة بني حماد الذين كانوا يقتسمون الحكم في كل من تونسوقسنطينة وبجاية، إلى أن استولى عليها ملكهم عبد المؤمن بن علي الكومي بعد المهدي بن تمرت. كما قيل إن المسجد كان موجودا قبل السادس الهجري، وإن تضاربت الآراء حول تاريخ إنشائه إلا أنه يبقى معلما تاريخيا ذا أهمية كبيرة ومن الرموز الأخيرة الباقية بقسنطينة، وكانت من بين أكثر المناطق التي كان يقصدها العلامة عبد الحميد بن باديس وأعضاء جمعية العلماء المسلمين. مبني بطريقة عربية قديمة، يحمل قبة ومأدبة على الطريقة التقليدية لم يتم تغييرها لحد الساعة. وقد شهد المسجد عدة تغيرات انطلاقا من سنة 1679 ميلادي، حيث تم تجديده وتوسيعه من قبل الشيخ إسلام محمد بن احمد بن عبد الكريم لفقون في الجزء الشرقي منه المتاخم لمساكن آل لفقون. وفي سنة 1860 قامت سلطات الاحتلال الفرنسي بشق طريق بجوار المسجد سمي آنذاك “الطريق السلطاني” المعروف بالطريق الجديدة، ويمتد من ساحة باب الواد إلى جسر باب القنطرة، وقد دمرت عدة منازل محاذية للمسجد وتقلصت مساحته خلال العملية.بعد الاستقلال، وفي سنة 1968، تمت تغطية صحن المسجد لحاجة المصلين إليه من شدة حر الصيف والبرد في الشتاء، في حين شهد المسجد ذاته سنة 2004 ترميمات معمقة شملت بيت الصلاة والجدران والصحن والميضاة والسقف. وعن المشايخ والعلماء الدين تولوا التدريس به، نذكر كوكبة من العلماء، على غرار عبد القادر المجاوي، الشيخ حمدان بن لونيس، ومن المتأخرين مرزوق بن الشيخ الحسين. ولايزال الجامع يؤدي وظائفه التعبدية والتربوية ويقدم دروس الوعظ والإرشاد وإصلاح ذات البين. كما توجد به أقسام للتعليم القرآني ومحو الأمية.