Les premiers habitants du vieux ksar ? La tribu des Beni Hassan, au XIIe siècle, qui quitte ensuite les lieux pour Seguia El Hamra et la Mauritanie au XIVe siècle. Quarante ans plus tard arrive El Mehdi Ben Youssef (Ouled Mehdi), descendant des Beni Abbès de la tribu des Beni Hassan. Il s'installe avec Ali Ben Moumen de la tribu Arib. Ali Ben Yahia (tribu des Ouled Rahou), puis Moussa Ben Ali (Ouled Ali Ben Moussa) se sont aussi installés au XVI siècle. Ils ont habité dans des ksour séparés jusqu'à l'arrivée de Mohamed Ben Abd Eslam (mrabtine) qui fonda le nouveau ksar au sein de la palmeraie, en 1605. Un peu plus tard, de Tmentite est venu Taleb Belkacem Ben Abdellah (Ouled Hamed). L'association des descendants de ces personnes avec les Haratine a formé la population dite Ababsa. Une autre population, les Ghenanma des Ouled Hamou, a vécu dans un ksar indépendant. Le 1er mars 1901, les Français s'installent dans la région. Beni Abbès a participé à la guerre de Libération nationale entre 1954 et 1962. En 1957, les habitants du ksar de la palmeraie sont expulsés par les troupes françaises et doivent construire un nouveau ksar.