在很多人印象中，長孫無忌是關隴集團的代表人物，進而得出唐太宗是關隴集團第一代言人的觀點。但鮮為人知的是，長孫無忌在唐太宗登基之前其實是關隴集團的邊緣人物，長孫無忌的存在恰恰證明秦王李世民當時并不是關隴集團的第一代言人。這又是怎麼回事呢？
單看紙面上的家譜記載，長孫無忌的家族可謂是北朝一等一的顯貴。長孫無忌的長孫姓來自于鮮卑拓跋氏，是北魏的宗室皇族，在北魏朝廷一直擁有很大的影響力。在北魏分裂成東魏和西魏的時候，長孫無忌的先祖長孫稚加入了宇文泰的西魏，長孫家族從此加入關隴集團。
到了隋朝初年，長孫家族又出現了一位大人物，他就是長孫無忌的父親長孫晟。長孫晟是隋朝著名的戰略家、外交家和軍事家，親自主持了将突厥分裂為東西兩部的計劃。最終迫使突厥向隋朝稱臣。然而長孫無忌在關隴集團被邊緣化的起始原因恰恰就是父親長孫晟的婚姻。
根據史書記載，長孫晟一生先後有兩位正妻：第一位正妻沒有留下姓名，隻知道她為長孫晟生了長孫行布、長孫恒安、長孫安業這幾個兒子；第二位正妻是北齊樂安王高劢之女高氏，為長孫晟生了長孫無忌和長孫皇後，而長孫高氏夫人的哥哥就是唐朝淩煙閣功臣高士廉。
大業五年（609年），長孫晟去世。長孫晟前妻所生的兒子長孫安業為了獨霸家業，竟然将高氏、還不到十歲的長孫無忌和年僅八歲的長孫皇後趕出了家門，讓他們“自謀生路”。幸虧高士廉收留了妹妹和外甥、外甥女，否則長孫無忌和長孫皇後很可能在童年時就餓死了。
然而高士廉當時隻是一個從九品的治禮郎，家中還有老母妻兒需要供養，能保證長孫無忌和長孫皇後不被餓死和讀書就已經是極限了，實在沒有财力讓長孫無忌去維系發展人脈。長孫晟的人脈資源都被長孫無忌那幾個同父異母的哥哥控制了，與長孫無忌也沒有什麼關系了。
正因如此，長孫無忌早年與關隴集團上層的聯系基本斷絕了。雖然還頂着長孫姓，但長孫無忌此時已經落到了統治階級的下層，完全成為了關隴集團的邊緣人物。直到唐太宗與長孫皇後結婚，長孫無忌才算恢複了與關隴上層的聯系，但此時距離隋朝滅亡已經不到五年了。