Il vit quelque temps à Marrakech puis se rend à Fès où, lui a-t-on dit, professent de grands maîtres. Il va y rencontrer le grand mystique berbère, Sidi Hirzihim. Abu al-Hassan Ali Ibn Hirzihim, appelé en dialectal Sidi Harazem, est né à Fès à une date inconnue. C'était non seulement un mystique, mais aussi un grand penseur, qui a répandu au Maghreb, la pensée du grand philosophe musulman, Al-Ghazali. Il a enseigné à l'université al-Qarawayn de Fès et il a ouvertement critiqué la politique des Almoravides, à l'époque les maîtres du Maghreb. Il a eu de nombreux élèves dont notre Sidi Boumedienne. Sidi Hirzihim va initier le jeune Chou'ayb aux doctrines mystiques, le tasawwuf. Il va aussi lui faire découvrir les grands ouvrages de ce courant, notamment ceux d'Al-Muh'asibi et d'Al-Ghazali. Chou'ayb, quand il n'étudiait pas, travaillait pour gagner sa vie dans un atelier de tissage. Bien souvent il devait se contenter d'un morceau de galette et, comme tous les étudiants pauvres de l'époque, il devait guetter les couscous qu'offraient les bonnes gens en charité. C'est la tradition de la wa'ada, l'offrande en aliments, qui s'est perpétué jusqu'à nos jours. A la sortie de la ville, il a trouvé une grotte qu' il a aménagée en chambre.
