Jeune homme, il s'écarte de sa famille pour refuser un mariage «arrangé». En 1947, il épouse Evelyne Mase, avec qui il aura une fille (Makaziwe) et deux fils (Thembi et Makgatho, décédé du sida en 2005). Le 14 juin 1958, il se marie avec la fougueuse Winnie Madikisela. Emprisonnée pendant 18 mois en 1969, assignée à résidence en 1977, Winnie Mandela ne pouvait rencontrer son détenu de mari que deux fois par an à la prison de Robben Island. Pasionaria de la lutte anti-apartheid. C'est elle qui accueillera Mandela à sa sortie de prison, mais ils se sépareront en 1992 (leur divorce sera prononcé en 1996). Le couple aura eu deux filles: Zenani (5 février 1959) et Zindziswa (1960). Mandela se rapproche alors de Graça Machel, la veuve du premier président du Mozambique voisin, Samora Machel. Ils se marient le 18 juillet 1998, le jour des 80 ans de Nelson Mandela.
