實際上楊家将真正有本事的就傳了三代，其他的後人都是名不見經傳，正史中根本都沒有記載，完全符合“富不過三代”這句諺語。
第一代楊家将——楊業
楊家将就是歌頌了北宋初年的名将楊業一家滿門忠烈，保家衛國的事迹。而曆史上楊業是确有其人的。
楊業少年時就武藝高強，喜歡打獵，騎馬射箭樣樣精通，打的獵物也比别人多。楊業自幼就追随北漢世祖劉崇，劉崇也很重用他，多次立下戰功，國人給他起個綽号“無敵”，劉崇還賜給楊業劉姓以顯示榮耀。
楊業，并州太原人。父信，為漢麟州刺史。業幼倜傥任俠，善騎射，好畋獵，所獲倍于人。嘗謂其徒曰："我他日為将用兵，亦猶用鷹犬逐雉兔爾。"弱冠事劉崇，為保衛指揮使，以骁勇聞。累遷至建雄軍節度使，屢立戰功，所向克捷，國人号為"無敵"。《宋史》
公元968年，當時正是宋朝在進行統一戰争，北漢當然是宋朝攻擊的對象。北漢繼位皇帝劉繼元讓楊業（劉繼業）與馮進珂領兵鎮守團栢谷，抵禦宋軍。第二年，宋太祖趙廣胤禦駕親征，楊業因為寡不敵衆，于是逃回太原。劉繼元氣的罷免了楊業的兵權。宋軍包圍太原，楊業等人數次出擊，都沒有打敗宋軍，後來因為遼國出兵幫助，北宋才撤軍。
等到了979年，北宋太宗征讨北漢，大軍壓境，北漢劉繼元投降。但是楊業卻還據城堅守，太宗一直聽說楊業是位名将，就想招到麾下，太宗就讓劉繼元勸降。于是楊業投降，因為楊業熟悉邊關情況，受到了太宗的重用，抵抗遼軍。
太平興國五年，遼景宗發兵十萬攻雁門關，楊業親自率兵繞到遼兵後面，和潘美（也就是小說中的潘仁美）前後夾擊遼軍，大獲全勝。因為這楊業被提升為雲州觀察使。自從這次戰役後，遼軍很忌憚楊業的威名，為了除掉楊業，還派奸細上書暗中诋毀楊業，但是宋太宗很信任他，一點都不相信這些讒言。
雍熙三年，宋太宗想收複燕雲十六州，于是派兩路大軍出兵收複，西路軍以潘美為主帥，楊業為副帥，王侁和劉文裕為護軍。各路大軍接連攻下了雲州、應州、寰州、朔州四個州，但是後來東路軍戰敗，各路大軍不得不撤退。
宋太宗想要把這四個州的百姓撤回來，于是就讓西路軍潘美等人完成。然而此時遼國已經攻克了寰州，楊業提了一個好的建議，就是讓雲州百姓先出來，楊業親自到應州抵抗遼軍。再讓朔州百姓出來入石碣谷，然後在石碣谷布置伏兵，這樣三洲百姓都可以撤回，完成皇帝交代的任務。
王侁這個家夥可能覺得西路軍打的不錯，就覺得不用這麼麻煩，我們有幾萬精兵，還怕遼軍嗎？直接派兵去接百姓就行。也就是說王侁覺得自己很厲害，不怕遼軍，那是因為他沒見過真正的遼國精銳。劉文裕也贊成王侁的觀點，潘美沒有說話，可能也不反對。
王侁還笑話楊業“無敵”的稱号，氣的楊業說我雖然是降将，但是皇帝待我很好，我應該沖最前面。楊業哭着對潘美說，這次行動一定對我們不利，但是你們都覺得我怕遼軍，是以我當先鋒，并指着陳家谷口說，你們在這裡布陣，接應我。
于是楊業出發，結果就是王侁看楊業老長時間沒回來，就覺得楊業打了勝仗，打跑了遼軍，王侁怕楊業搶了功勞，就直接離開了谷口，潘美想制止，但是沒成功，于是潘美也離開了谷口。後來聽說楊業敗了，就直接跑了。
自寅至巳，侁使人登托邏台望之，以為契丹敗走，欲争其功，即領兵離谷口。美不能制，乃緣交河西南行二十裡。俄聞業敗，即麾兵卻走。業力戰，自午至暮，果至谷口。望見無人，即拊膺大恸，再率帳下士力戰，身被數十創，士卒殆盡，業猶手刃數十百人。馬重傷不能進，遂為契丹所擒，其子延玉亦沒焉。《宋史》
而楊業與遼軍大戰完，回到陳家谷口，一看一個人也沒有，就想着完了。最後楊業兒子楊延玉戰死，楊業殺了數百名遼軍，被俘。楊業感念太宗知遇之恩，絕食三日而死。太宗知道了一切，為楊業精忠報國的事迹感動。追贈為太尉、大同軍節度使，賜他的家人布帛一千匹、糧食一千石。像潘美等人都受到了處分。
第二代楊家将——楊延昭
楊延昭是楊業的長子，楊六郎的原型，因為遼國人認為北鬥七星中的第六顆主鎮幽燕北方，又因為楊延昭很厲害，數次打擊遼軍，遼國人把他看成六郎星君下凡，是以叫楊六郎。
楊延昭從小沉默寡言，但是很喜歡行軍打仗的東西，父親楊業說這孩子像我。每次楊業打仗都帶着楊延昭。慢慢的楊延昭成長為真正的戰将。
楊業死後，楊延昭繼承了楊業的事業繼續保衛大宋江山。楊延昭在軍中威望很高，每次獲得了賞賜他都分給士兵，并且也很關心士兵的生活，于是部下都很愛戴他，也肯為他賣命。
公元999年，楊延昭當時在遂城，遼軍攻打過來，包圍數日，因為城小沒有過多的準備。遼國蕭太後親自指揮作戰，楊延昭組織城内的一切力量守城，夜裡潑水到城牆上結冰抵抗遼軍。最後因為結冰城牆太滑，遼軍退兵。宋真宗很高興，楊延昭升任刺史。
有一次，宋真宗在大名，召楊延昭前往皇上的行營處詢問邊境情況，楊延昭都能對答如流。于是宋真宗很高興，對人們說：“楊延昭的父親楊業是前朝的名将，楊延昭統率軍隊保護邊塞，有他父親的遺風，很值得嘉獎。”
楊延昭時期，宋朝正處于防禦遼國時期，很少主動出擊，但是楊延昭守衛邊境，做出了很大的貢獻，宋真宗一直很信任他。
大中祥符七年（1014年），楊延昭去世，終年五十七歲。楊業兒子除了延昭和延玉，還有延浦、延訓、延環、延貴和延彬，但是剩下的正史中都不出名。
第三代楊家将——楊文廣
楊文廣在演義中是楊宗保與穆桂英之子，是楊延昭的孫子，而實際上他是楊延昭的兒子。
楊文廣曾經讨賊張海有功，授予殿直。後來與安撫陝西的範仲淹相遇，範仲淹在談話中發現楊文廣很有才能，就把他帶在身邊。狄青南征廣西，楊文廣跟着出征。
後來宋英宗以楊文廣是名将之後，于是派去抵抗西夏兵，并且還立了一些戰功，被皇帝任命他為泾州鎮戎軍、定州路副總管，遷步軍都虞侯。
楊文廣七十多的時候，遼國與宋朝在代州的邊界劃分上發生争執，楊文廣這時候獻上很好的政策，可是沒等到朝廷有信，楊文廣就去世了。
楊文廣的功績和父親、祖父相比差的不少，因為這時候北宋和遼議和，基本上沒有大的戰役，和西夏也都是一些小規模的戰争。是以楊文廣雖然想報效國家，收複燕雲十六州，但是沒有這樣的機會，北宋也重文輕武，慢慢的武将退化。以至于後來發生了“靖康之恥”，這是幾十年後的事情了。
正史中，以後的楊家基本上再也沒有出現能征善戰的将軍。