公元617年，隋炀帝大業十三年，李淵終于打破沉寂，醞釀年已久的起兵計劃得以實施。李淵率領長子李建成、次子李世民揮師南下，橫渡黃河，直取關中。在渭北，李世民的轅門外出現了一位執仗而來的長者，這位長者比李世民年長20歲，李世民當時缺兵少将，求賢若渴，此人前來投奔，李世民立即有種相見恨晚之感，遂讓他做自己的參軍，長立于身邊。此人姓房名喬，字玄齡，是李世民最得力的智囊。
對此，《新唐書》如此記載：
太宗以敦煌公身份率兵巡行渭北，玄齡杖策拜見于軍門，太宗一見如故，署任為渭北道行軍記室參軍。
房玄齡的曾祖父曾是北魏的鎮遠将軍，他的爺爺是一縣主薄，父親隻是個普通的讀書人，可以說是家道中落。但房玄齡從小聰穎，熟讀經史，富有韬略。當時李淵父子才剛剛起兵1個多月，房玄齡做了三點預測：第一，大隋必定滅亡。第二，取代隋朝的就是李氏父子。第三，房玄齡沒有相中李淵的長子李建成，而是直接投奔李世民，因為李世民是房玄齡心目中的明主。從結果上看，房玄齡的三點預測完全正确，可見此人确實眼光犀利。
李世民雖然富有雄才，但卻煩于瑣事，而房玄齡不僅為李世民出謀劃策，而且勤勤懇懇料理俗物，李世民對此非常滿意。李世民曾評價房玄齡：
“漢光武帝自得鄧禹之後，門人更加相親相近，自從我有了玄齡，就像光武有了鄧禹一樣。”
鄧禹是劉秀身邊著名的軍師，李世民把房玄齡比作鄧禹，可見對房玄齡的看重。房玄齡老成持重，眼光比較長遠，李世民出征，一旦打了勝仗，其他将領都是進城去哄搶财寶，隻有房玄齡不要這些身外之物，他進城都是探訪名士，為李世民推薦人才，因為房玄齡認為：人才是奪取天下的無價之寶。例如，大名鼎鼎的杜如晦，就是房玄齡推薦給李世民的。
李世民戰功卓絕，人們都認為他手下名将如雲，是以百戰不殆。反而很容易忽略李世民帳下的3位文臣，他們是房玄齡、杜如晦和長孫無忌。其中，若論謀略，房玄齡穩居第一，若論決斷，杜如晦更勝一籌。而長孫無忌是李世民的内兄，雖不擅長謀略，但卻是心腹。是以，在後來太子和秦王勢不兩立的時候，李建成首先要把房、杜二人從李世民身邊調開，然後才對付李世民。
《舊唐書》記載：
隐太子以玄齡、如晦為太宗所親禮，甚惡之，谮之于高祖，由是與如晦并被驅斥。隐太子将有變也，太宗令長孫無忌召玄齡及如晦，令衣道士服，潛引入閣計事。
而當李世民決心要發動玄武門之變時，卻不惜冒險，讓長孫無忌去把房、杜二人請來，穿着道士的衣服，偷偷進入秦王府謀劃。這說明兩件事，第一，在李世民心中，有重大的謀略，必須有房杜二人的參與。第二，若無房杜二人詳細籌謀，玄武門之變恐怕不是僅憑尉遲恭、侯君集等人的蠻力所能取勝的。
是以，當李世民繼位，論功行賞，房玄齡、杜如晦和長孫無忌三個文臣“功居第一”，直接封為國公。淮安王李神通是李世民的堂叔父，他認為房玄齡是“刀筆之吏”，耍筆杆子的怎麼能排在武将前面呢，李世民就舉了漢代蕭何的例子，這才讓衆人服氣。
唐太宗時期，房玄齡一直擔任宰相，勞苦功高。房玄齡熟讀經史，難道不知道位極人臣之後應該急流勇退嗎？其實，房玄齡是知道的。貞觀十三年，李世民認為房玄齡勞苦功高，不僅把房玄齡的兒子招為驸馬，還把房玄齡的女兒嫁給了李世民的弟弟（有點差輩，不要介意）。還封房玄齡為太子少師，房玄齡自認為權力達到了頂端，不是好事，連夜寫了一封辭呈，交給李世民。李世民不讓他辭職，房玄齡“固辭”，但最終還是被李世民多次拒絕。
關于房玄齡要辭官的事情，在《新唐書》中也有類似的表達：
（貞觀十三年）未幾，加太子少師，始詣東宮，皇太子欲拜之，玄齡不敢谒，乃止。居宰相十五年，女為王妃，男尚主，自以為權寵隆極，累表辭讓，诏不停，玄齡固辭。
李世民認為，自己已經離不開房玄齡了，是以不能讓房玄齡辭職，房玄齡又幹了10年，10年之後，房玄齡病逝，在病榻前，李世民在房玄齡的床前，親自封賞房玄齡的兩個兒子，讓房玄齡死前親眼看到兒子得到蔭封。
房玄齡當宰相的後期，他的兒子們借着父親的實力，羽翼豐滿，最終在唐高宗時期，發生了著名的“房遺愛叛亂”，房玄齡一家被殺或被貶，還連累房玄齡的牌位從太廟中移除。若房玄齡提前10年的辭職，李世民能夠準許，房玄齡身後之名可保。