ساهمت جمعية العلماء المسلمين الجزائريين التي تأسّست يوم 5 ماي 1931 في نادي الترقي بالعاصمة الجزائرية على يد الشيخ العلامة عبد الحميد ابن باديس، في إصلاح المجتمع الجزائري وإحياء عقيدته الإسلامية التي أراد الاستعمار الفرنسي طمسها وتنصير المسلمين الجزائريين، إلاّ أنّ جهود أعضاء جمعية العلماء وعلى رأسهم الشيخ العلاّمة عبد الحميد بن باديس حالت دون تحقيق العدو مراده الخبيث، بل الأكثر من ذلك فقد ساهمت الجمعية في تكوين جيل من الشباب المناضلين، الذي حملوا فيما بعد مشعل الكفاح المسلّح متشبّعين بالدّين الإسلامي المنصوص عليه في نداء أول نوفمبر1954. استمر هذا الجهد التعليمي والإصلاحي رغم العراقيل والاضطهاد الذي كان العلماء والمعلمون عرضة له، حيث أقبل الشعب على التعليم الحر بكيفية خارقة للعادة، لذلك انتشرت المدارس في جميع مدن الجزائر وقراها. وبعد مضي ست سنوات من عمر الجمعية بادر الإمام عبد الحميد بن باديس بوضع إطار حرّ وشامل للجمعية، وهو أشبه بميثاق أو دستور وضعه لتسير على هديه الجمعية في نشاطها الإصلاحي والتعليمي، فحدد من خلال هذا الإطار ما أسماه ب "دعوة جمعية العلماء وأصولها" ونشره في مجلة الشهاب العدد الرابع، المجلد الثالث عشر في جوان 1937 ثم طبع ووزع على العامة. والجدير بالذكر، أنّ تأسيس الجمعية جاء إثر دعوة وجّهت إلى كل عالم من علماء الإسلام في الجزائر، من طرف هيئة مؤسسة مؤلفة من أشخاص حياديين ينتمون إلى نادي الترقي غير معروفين بالتطرف، لا يثير ذكرهم حساسية أو شكوكا لدى الإدارة الفرنسية، فأعلنوا أنّ الجمعية دينية تهذيبية تسعى لخدمة الدين والمجتمع، لا تتدخّل في السياسة ولا تشتغل بها، حيث لبّى الدعوة وحضر الاجتماع التأسيسي أكثر من سبعين عالما، من مختلف جهات الجزائر، ومن شتى الاتجاهات الدينية والمذهبية، موظفين وغير موظفين، وانتخبوا مجلسا إداريا للجمعية من أكفأ الرجال علما وعملا، يتكون من ثلاثة عشر عضوا برئاسة الشيخ ابن باديس الذي لم يحضر إلا في اليوم الأخير للاجتماع وباستدعاء خاص، فكان انتخابه غيابيا. لم يكن رئيس الجمعية ولا معظم أعضاء مجلسها الإداري من سكان العاصمة، لذلك عيّنوا لجنة للعمل الدائم ممن يقيمون بالعاصمة، تتألف من خمسة أعضاء برئاسة عمر إسماعيل، تتولى التنسيق بين الأعضاء، وتحفظ الوثائق، وتضبط الميزانية، وتحضر للاجتماعات الدورية للمجلس الإداري. وانطلق نشاط الجمعية في تنفيذ برنامجها الذي كان قد ضبط محاوره الإمام ابن باديس في الاجتماع، الذي عقد عام 1928م مع صفوة من العلماء الذين رجعوا من المشرق ومن تونس، واستجاب الشعب لهذا البرنامج، وبدأ يؤسّس المساجد وينشئ المدارس والنوادي بأمواله الخاصة، ويستقبل العلماء ويُيَسّر لهم الاضطلاع بمهمّتهم. وحتى يسهل الإشراف على متابعة العمل الإصلاحي، وتنشيط العمل التربوي الذي يقدم في المدارس الحرة، التي بدأت تنتشر في أرجاء القطر، كلف الإمام عبد الحميد بن باديس باقتراح من الجمعية، الشيخ الطيب العقبي بأن يتولى الإشراف على العمل الذي يجري في العاصمة وما جاورها، والشيخ البشير الإبراهيمي بأن يتولى العمل الذي يجري بالجهة الغربية من البلاد، انطلاقا من تلمسان، وأبقى بقسنطينة وما جاورها تحت إشرافه شخصيا. نوادي دينية للمهاجرين لم تغفل الجمعية عن الجالية الجزائرية المقيمة بفرنسا، فأنشأت الجمعية عشرات من النوادي وزوّدتها بالعديد من الشيوخ والمعلمين، فأرسل ابن باديس الشيخ سعيد صالحي مبعوثا إلى فرنسا سنة 1938م بالإضافة إلى العديد من الشخصيات البارزة وعلى رأسها الشيخ الفضيل الورتيلاني، وهذا للقيام بسلسلة من المحاضرات في نوادي الجمعية بمختلف المدن الفرنسية، يتعلم فيها أعضاء الجالية العربية ضروريات دينهم ودنياهم، ويتعلم فيها أبناؤهم اللغة العربية، ويتربون على الدين والوطنية.