公元617年，隋炀帝大业十三年，李渊终于打破沉寂，酝酿年已久的起兵计划得以实施。李渊率领长子李建成、次子李世民挥师南下，横渡黄河，直取关中。在渭北，李世民的辕门外出现了一位执仗而来的长者，这位长者比李世民年长20岁，李世民当时缺兵少将，求贤若渴，此人前来投奔，李世民立即有种相见恨晚之感，遂让他做自己的参军，长立于身边。此人姓房名乔，字玄龄，是李世民最得力的智囊。
对此，《新唐书》如此记载：
太宗以敦煌公身份率兵巡行渭北，玄龄杖策拜见于军门，太宗一见如故，署任为渭北道行军记室参军。
房玄龄的曾祖父曾是北魏的镇远将军，他的爷爷是一县主薄，父亲只是个普通的读书人，可以说是家道中落。但房玄龄从小聪颖，熟读经史，富有韬略。当时李渊父子才刚刚起兵1个多月，房玄龄做了三点预测：第一，大隋必定灭亡。第二，取代隋朝的就是李氏父子。第三，房玄龄没有相中李渊的长子李建成，而是直接投奔李世民，因为李世民是房玄龄心目中的明主。从结果上看，房玄龄的三点预测完全正确，可见此人确实眼光犀利。
李世民虽然富有雄才，但却烦于琐事，而房玄龄不仅为李世民出谋划策，而且勤勤恳恳料理俗物，李世民对此非常满意。李世民曾评价房玄龄：
“汉光武帝自得邓禹之后，门人更加相亲相近，自从我有了玄龄，就像光武有了邓禹一样。”
邓禹是刘秀身边著名的军师，李世民把房玄龄比作邓禹，可见对房玄龄的看重。房玄龄老成持重，眼光比较长远，李世民出征，一旦打了胜仗，其他将领都是进城去哄抢财宝，只有房玄龄不要这些身外之物，他进城都是探访名士，为李世民推荐人才，因为房玄龄认为：人才是夺取天下的无价之宝。例如，大名鼎鼎的杜如晦，就是房玄龄推荐给李世民的。
李世民战功卓绝，人们都认为他手下名将如云，所以百战不殆。反而很容易忽略李世民帐下的3位文臣，他们是房玄龄、杜如晦和长孙无忌。其中，若论谋略，房玄龄稳居第一，若论决断，杜如晦更胜一筹。而长孙无忌是李世民的内兄，虽不擅长谋略，但却是心腹。所以，在后来太子和秦王势不两立的时候，李建成首先要把房、杜二人从李世民身边调开，然后才对付李世民。
《旧唐书》记载：
隐太子以玄龄、如晦为太宗所亲礼，甚恶之，谮之于高祖，由是与如晦并被驱斥。隐太子将有变也，太宗令长孙无忌召玄龄及如晦，令衣道士服，潜引入阁计事。
而当李世民决心要发动玄武门之变时，却不惜冒险，让长孙无忌去把房、杜二人请来，穿着道士的衣服，偷偷进入秦王府谋划。这说明两件事，第一，在李世民心中，有重大的谋略，必须有房杜二人的参与。第二，若无房杜二人详细筹谋，玄武门之变恐怕不是仅凭尉迟恭、侯君集等人的蛮力所能取胜的。
所以，当李世民继位，论功行赏，房玄龄、杜如晦和长孙无忌三个文臣“功居第一”，直接封为国公。淮安王李神通是李世民的堂叔父，他认为房玄龄是“刀笔之吏”，耍笔杆子的怎么能排在武将前面呢，李世民就举了汉代萧何的例子，这才让众人服气。
唐太宗时期，房玄龄一直担任宰相，劳苦功高。房玄龄熟读经史，难道不知道位极人臣之后应该急流勇退吗？其实，房玄龄是知道的。贞观十三年，李世民认为房玄龄劳苦功高，不仅把房玄龄的儿子招为驸马，还把房玄龄的女儿嫁给了李世民的弟弟（有点差辈，不要介意）。还封房玄龄为太子少师，房玄龄自认为权力达到了顶端，不是好事，连夜写了一封辞呈，交给李世民。李世民不让他辞职，房玄龄“固辞”，但最终还是被李世民多次拒绝。
关于房玄龄要辞官的事情，在《新唐书》中也有类似的表达：
（贞观十三年）未几，加太子少师，始诣东宫，皇太子欲拜之，玄龄不敢谒，乃止。居宰相十五年，女为王妃，男尚主，自以为权宠隆极，累表辞让，诏不停，玄龄固辞。
李世民认为，自己已经离不开房玄龄了，所以不能让房玄龄辞职，房玄龄又干了10年，10年之后，房玄龄病逝，在病榻前，李世民在房玄龄的床前，亲自封赏房玄龄的两个儿子，让房玄龄死前亲眼看到儿子得到荫封。
房玄龄当宰相的后期，他的儿子们借着父亲的实力，羽翼丰满，最终在唐高宗时期，发生了著名的“房遗爱叛乱”，房玄龄一家被杀或被贬，还连累房玄龄的牌位从太庙中移除。若房玄龄提前10年的辞职，李世民能够批准，房玄龄身后之名可保。