بنيت الكعبة في الدهر خمس مرات، منها بناء قريش، والسبب في ذلك أن الكعبة استهدمت وكانت فوق القامة وأرادوا تعليتها، وكان بابها لاصقا بالأرض في عهد إبراهيم وعهد جرهم، إلى أن بنتها قريش، فقال أبو حذيفة بن المغيرة: يا قوم: ارفعوا باب الكعبة حتى لا يدخلها أحد إلا بسلم، فإنه لا يدخلها حينئذ إلا من أردتم، فإن جاء أحد ممن تكرهونه رميتم به فسقط، وصار نكالا لمن يراه، فرفع بابها وجعل لها سقفا، ولم يكن لها سقف، وزادت ارتفاعها، وكان عمر النبي صلى الله عليه وسلم إذ ذاك خمسا وعشرين سنة، وقيل خمسا وثلاثين، فحضر البناء، وكان ينقل الحجارة معهم كما ثبت في الصحيح، وتنافست قريش فيمن يضع الحجر الأسود موضعه من الركن، ثم رضوا بأن يضعه النبي صلى الله عليه وسلم.