趙氏屬于嬴姓，跟秦國國君來自同一個祖先。趙家發迹起源于跟随晉文公流亡的趙衰。
他們的祖先可以追溯到商朝。當初纣王手下有猛将名叫蜚廉，作戰勇猛。後來他被周朝俘虜，不久以後就被殺了。
蜚廉有兩個兒子，一個是惡來（很快被殺了），另一個是季勝，他們的後人都侍奉周朝，但地位不高。
到了周穆王的時候，季勝有個曾孫叫造父。造父善于相馬和駕車，是穆王的馬夫，他養的馬好多都是千裡馬，很受穆王青睐。一次，國内叛亂，幸虧造父卓越的車技，配上千裡馬，帶着穆王從千裡之外迅速趕回國内，平定了叛亂。
穆王因為他這次的功勞，把他封在了趙城。從此他們整個家族都沾光了，包括惡來和季勝的後裔，都以趙為氏，是為嬴姓，趙氏。
造父就是趙氏的先祖。
而惡來的後人不久以後也出了一個人才，叫非子。他因為養馬養得好，天下聞名，也受到周天子的封賞，被封在秦地，建立了秦國。
趙氏的後人在西周末年看到朝政混亂，就離開周朝，到晉國去當官，成為晉國的卿族之一，一直傳到了趙衰這一輩。
趙衰是追随晉文公流亡的五大功臣之一。
他的年紀比晉文公稍微小一些，兩人從年輕的時候就很熟悉，他們的私人友誼非常好，聯手娶了叔隗、季隗這一對姐妹。然後文公又把自己的女兒嫁給趙衰——是以他們兩人既是連襟，又是翁婿。
從這樣密切的婚姻關系，可以看出趙衰受到晉文公的信任之深。在晉文公流亡的十九年裡，趙衰始終是團隊的中流砥柱，文公所有重大的事情都會跟他商量。
在最艱苦的時候，他把把帶着的食物讓給晉文公，自己不肯吃。
文公在齊國貪圖享樂，不肯離開，是趙衰他們幾個人謀劃，把文公灌醉了強行帶走。
晉文公登基以後，趙衰毫無懸念地進入了朝廷的核心上司層。
在文公的班底裡面，趙衰不是才能最突出的。但他低調不貪功，他還有一種才能是所有人都比不上的——他特别會“做人”。而這個才能讓他的家族在後來的政治鬥争中獲得了良好的人脈，脫穎而出。
這個“做人”不是說他左右逢源四面讨好，而是說，他能自如地協調各方關系，讓所有人都感受到他的恩德。是以，不管哪個派别的人，都誇他是個熱心腸的好人。
他低調沉穩，處處展現出謙遜的風度。中國人一向對愛謙讓的人有好感，是以趙衰在朝廷裡的形象非常好。
例如，有一次晉文公派兵讨伐邺國，用趙衰的計謀，戰争進行得很順利。事後文公封賞群臣，趙衰卻推辭說：“大王是要賞賜直接的執行者呢還是賞賜起根本作用的人？如果是前者，那麼可以賞賜騎馬駕車的将士們；如果是後者，那麼我的計謀是從郤子虎那兒聽來的。”文公果然就賞賜了郤子虎。
趙衰類似的謙讓的事迹還有很多，最著名的是他幾次“讓賢”的經曆，把晉文公任命給他的職位讓給了别人。
在最初設立“三軍”的時候，晉文公就任命趙衰當中軍元帥，他卻堅辭不受，說：“郤縠德行高尚，讓他擔任這個職位比較合适。”文公就讓郤縠當了中軍将。
文公又讓趙衰擔任下軍将，他說：“栾枝仔細謹慎，先轸計謀過人，應該任用他們。”文公于是讓栾枝和先轸統領下軍。
後來狐毛過世了，文公讓趙衰頂替他當上軍将，趙衰又推辭說：“先且居（先轸的兒子）在城濮之戰中有重大功勞，應該任命他。”
文公非常感動，對人說：“趙衰三讓，所讓的都是社稷之臣，三讓而不失義，真是有德的賢臣呀。”
到最後文公都覺得對不起趙衰了，隻好專門建立一個新上軍和新下軍，讓趙衰當新上軍的首領，趙衰這才接受下來。
另一方面，由于趙衰得到文公的高度信任，他推薦的人基本都能馬上獲得重用，這些人當然都會感激他，是以也替他和他的家族積累了廣泛的人脈關系。
除此之外，他還推薦過狐偃、胥臣、箕鄭等人，陽處父也跟他私交甚笃，連刺殺過文公的勃鞮都很欣賞他，甚至建議文公把原邑封賞給他。
總之，六卿裡面其餘幾個大家族的人基本都受過趙衰的恩惠。大家都很感激他，說他像冬天裡的太陽，讓所有人都感到溫暖。
可以說，在文公的朝廷裡，趙衰就是所有人中間的黏合劑，是他撫平了晉惠公時代紛繁蕪雜的派系紛争，把整個晉國政壇黏合到一起；因為他的存在，文公時代的晉國才有如此強大的凝聚力，才能集合各派的力量共同對付國外的敵人。
趙衰的這些功勞都被人看在眼裡，記在心裡。他雖然低調隐忍，卻獲得了所有人的一緻推崇，趙氏家族是以後來居上，在晉國政壇積累了超越其他家族的強大影響力。
不僅如此，在治家方面趙衰也是個能手，他很能協調家庭内部關系，連他的妻子都特别賢惠。
晉文公登基以後，把自己的女兒趙姬嫁給了趙衰。當時趙衰的前妻叔隗和他的兒子趙盾都還在翟國，趙姬對趙衰說：“有了新歡就忘了舊人，這樣怎麼能服衆呢？應該盡快把他們母子接過來。”趙衰就把叔隗和趙盾接回了晉國。
趙姬雖然是公主的身份，但她認為叔隗是原配而且功勞更大，就主動讓叔隗當正室，把自己降為偏房，還讓趙盾當嫡子繼承家業，自己生的幾個兒子都作庶子。
在叔隗和趙姬的諄諄教導下，趙盾也成長為非常有才能的人物，在趙衰過世以後，他作為趙氏的嫡長子，繼承了趙衰的事業。
公元前六二二年，一代巨人趙盾正式登上晉國政壇，晉國從此進入趙氏專權的時代。