Il travailla ensuite comme comptable au service du génie civil de Biskra, puis s'installa à Constantine où il fut proche de l' association des Oulémas, en particulier de Moubarek El Mili. Ben M'hidi adhéra au mouvement des Amis du manifeste et de la liberté (AML) fondé par Ferhat Abbas et participa au congrès de mars 1945. Comme nombre de militants nationalistes, les massacres du 8 mai 1945 – il participe aux manifestations, sera arrêté puis relâché – le poussent à poursuivre son activité clandestine. Il intégra le Mouvement pour le triomphe des libertés démocratiques (MTLD) et l'Organisation spéciale (OS) à laquelle participèrent également Ben Bella, Aït Ahmed et Mohamed Boudiaf dont il fut l'assistant. Après le démantèlement de l'Organisation spéciale (OS) par les services français, Ben M'hidi est condamné par contumace à 10 ans de prison. Insaisissable par les services français, il dirige en 1952 la région ouest, où il prépare le déclenchement de la Révolution et devient le premier commandant de cette région. En avril 1954, Ben M'hidi fut l'un des 9 fondateurs du CRUA qui, le 10 octobre 1954, transformèrent le CRUA en FLN et décidèrent de la date du 1er novembre 1954. En 1956, il devint membre du Conseil national de la révolution algérienne. Auteur de la fameuse phrase : «Jetez la révolution à la rue, le peuple la prendra en charge», Ben M'hidi représente l'Oranie au congrès de la Soummam (20 août 1956), dont il préside la première réunion. A l'issue du congrès, il est élevé au grade de colonel, nommé au Comité de coordination et d'exécution (CEE) et se voit confier la zone d'Alger. Il participa à l'organisation des premières opérations de la bataille d'Alger et jouera un rôle central dans l'organisation de la grève des Huit jours en janvier 1957. Le 23 février de la même année il est arrêté à Alger et meurt assassiné en mars 1957.
