L'enseignement de Abu Madyan était basé sur le scrupule et l'humilité. Comme d'autres saints, tels que Sidi Lh'alwi de Tlemcen ou sidi Abdelkader al-Jilani de Bagdad, Abu Madyan s'habillait comme un mendiant et refusait les honneurs. Il appelait ses disciples à libérer leur âme de toutes les contingences, à se débarrasser de l'amour de soi pour ne considérer que l'amour de Dieu. L'âme, devait parvenir à ce qu'il appelait la «nudité spirituelle», l'innocence qui la fait s'abandonner entièrement à Dieu. Il enseignait le Coran, mais et il prenait soin de dire qu'on ne pouvait connaître qu'une partie de la vérité. On rapporte qu'il n'avait pas dépassé la sourate 67, al-Mulk, (La Royauté). Quand on lui a demandé pourquoi il n'était pas allé plus loin, il a répondu que pour lui, cette sourate est la limite du sublime et que s'il allait plus loin, il craignait d'être consumé par la puissance du verbe divin. «Il n'est pas donné à n'importe qui de pénétrer la signification du Message.» Il avait le don de la prémonition et il lui suffisait de regarder quelqu'un dans les yeux pour deviner ce qu'il allait faire ou devenir. A un de ses disciples, il a révélé ce que sa vie serait dans une vingtaine d'années, ce qui n'a pas manqué de se produire, selon les biographes du saint.
