趙貴，字元貴，天水南安人。其祖父趙仁，以良家子弟的身份從軍，鎮守當時北魏六鎮之一的武川鎮，進而安家于此。
趙貴從小聰慧過人，有志有節有氣概。
自正光四年（公元523年），北魏六鎮爆發起義之後，引發連鎖反應，導緻北魏境内烽火四起。于是趙貴帶領着鄉人南遷避難。
不巧的是，河北起義軍領袖葛榮攻陷中山，趙貴被俘獲。
永安元年（528）八月，葛榮為北魏大軍閥爾朱榮所敗身亡。一來出身武川鎮的賀拔允、賀拔嶽早就投奔了爾朱榮，并獲得爾朱榮的信任，二來趙貴确實有所才能，是以受任為别将。
永安二年，因河陰之變逃入南梁的元颢，向梁武帝蕭衍求助。在得到蕭衍的同意後，同南梁名将陳慶之，統七千人，曆經數月殺入洛陽。
同年，趙貴跟随爾朱榮平定元颢之亂。因功被賜予爵燕樂縣子，授官伏波将軍、武贲中郎将。
之前萬俟醜奴在關中稱帝，永安三年（530年），爾朱榮派侄子爾朱天光西征平亂，這支西征隊伍的核心人物，其實是武川鎮出身的賀拔嶽。賀拔嶽為建立自己的勢力，特意拉攏武川舊人一同出征關隴，趙貴便是其中一員。萬俟醜奴平定後，趙貴因功被賜予爵魏平縣伯，升任為大都督。
爾朱天光的西征軍平定關中後不久，時北魏孝莊帝計殺爾朱榮。爾朱氏集團替爾朱榮複仇，殺害了孝莊帝，時建明元年（531年）。
普泰元年（531年）爾朱榮舊部高歡與爾朱氏集團決裂，爾朱氏集團組成聯軍共同讨伐高歡。高歡勝，接替爾朱氏成為了北魏朝的權臣。爾朱天光戰敗身亡。
從此，賀拔嶽成為關隴之地最高長官。這也引起與賀拔嶽一樣，同為西征軍副帥侯莫陳悅的嫉妒與不滿。
爾朱榮在世時，高歡便與賀拔嶽有舊隙，對賀拔嶽頗為忌憚。因為利用侯莫陳悅對賀拔嶽的不滿，成功挑撥侯莫陳悅，在賀拔嶽欲聯手侯莫陳悅共同讨伐曹泥時，唆使侯莫陳悅殺害賀賀嶽。
初聞賀拔嶽死訊，賀拔嶽舊部人心惶惶，不少人各自逃散離去。趙貴見此狀，拉住周圍的人，振臂疾呼：“我一直聽聞講仁義的人不常有，一個人講仁義，那他就是一個君子，如不講仁義，則是小人。朱伯厚、王叔治隻是受了點意氣微恩，便蹈履名節。何況賀拔公對我等如待國士，我們怎麼能賀拔公屍體未涼就一散了之？”說道情深之處，衆人涕泣觑歉。
于是趙貴等五十餘人假義投降侯莫陳悅，并慷慨陳詞，請求收葬賀拔嶽。侯莫陳悅為收攏賀拔嶽部的人心，便答應了，趙貴這才将賀拔嶽的屍體送了回來。之後與寇洛等人糾集部衆，逃往平涼，共同商議抗拒侯莫陳悅。
至平涼後，寇洛雖然是賀拔嶽舊部中最為年長的，但自認能力不足，不足以上司群雄讨伐侯莫陳悅，趙貴第一個提出擁護夏州的宇文泰為新一任關隴集團的首領。
宇文泰至平涼後，任趙貴為大都督，兼府司馬。侯莫陳悅被平定以後，趙貴以原來的軍職和持節，代理秦州政務，任秦州大都督。
趙貴在管理秦州時，治事清平，深受百姓和下屬官吏的信任、愛戴。
永熙三年（534年），孝武帝元修讨伐高歡，不敵。高歡進逼都城洛陽，宇文泰聞訊後，急忙派趙貴、梁禦前去救援孝武帝。救援軍還未渡過黃河，孝武帝已逃入函谷關。至此，北魏開始分裂為東、西魏。東魏以高歡為代表，西魏以宇文泰為代表。孝武帝入關後，趙貴授車騎大将軍、儀同三司，兼右衛将軍。
時曹泥據守靈州，與高歡有私通，成為了宇文泰後方的大患，于是宇文泰命李虎、攜趙貴、李弼等人率軍征讨。曹泥降。
同年年末（534年），孝武帝為宇文泰所害。随後趙貴因參與擁立魏元帝元寶炬，被晉爵為公。
大統初年（535年），宕昌國君主梁仚定在黃河以西作亂，趙貴被任命為隴西行台，攜侯莫陳順等人前去平定，梁仚定懼怕，自稱藩屬請罪。
大統二年（536年），關中鬧饑荒。于大統三年（537年），高歡趁此時機向關中進軍，宇文泰被迫率軍抗敵，小關之戰，沙苑之戰，接連二場大戰均以西魏獲勝，洛陽落入西魏手中。趙貴因功被任命為侍中、骠騎大将軍、開府儀同三司，晉封中山郡公，授雍州刺史。
大統四年（538年），高歡部下侯景、高昂重兵包圍洛陽金墉城。當時宇文泰正陪西魏文帝元寶炬回洛陽祭掃北魏帝陵廟，聞訊後率軍馳援。東、西魏第三場大戰——河橋之戰拉開序幕。
此戰中，西魏一開始節節勝利，侯景大敗而逃，東魏猛将高昂兵敗身亡。兩軍交戰數十合，從早打到晚，此時戰時風雲變化，濃霧四起，東魏集中精銳，主攻西魏由趙貴、怡峰所率領的左翼，趙貴不敵。同是由于濃霧關系，與宇文泰失去聯系，趙貴帶人先行撤逃，西魏全軍由此潰敗。
高歡已故愛将高昂的哥哥高仲密，有一個如花似玉的老婆李昌儀。高歡有個色膽包天的兒子高澄，垂涎李昌儀的美色，将其調戲，李昌儀衣服盡裂。高仲密一怒之下投奔西魏，宇文泰率軍迎接，邙山之戰拉開序幕。
當時趙貴統率左軍，因違犯軍律，導緻作戰失利，以緻全軍潰敗，坐罪被免去官職。但在不久之後，不久恢複官爵，任禦史中尉，加大将軍銜。
大統十四年（548年），東魏高嶽、慕容紹宗、劉豐等将率十萬步騎進攻王思政所在的颍川，久攻不下，曾一度為王思政所退。
次年，東魏派遣增兵，繼續包圍颍川。西魏派遣趙貴率軍救援，東南各州兵馬俱歸趙貴排程。此時包圍颍川的東魏築堰引渠，水灌城池，使援軍無法靠近。王思政因援軍無法到達而全軍覆沒。趙貴撤軍傳回，不久任柱國大将軍，賜姓乙弗。
同年，柔然國侵犯西魏廣武，趙貴領軍将其擊潰，斬敵首千餘級，繳獲大量軍備物資。
六官建立後，任命趙貴為太保、大宗伯，改封南陽郡公。
西魏恭帝三年（556年）十月，宇文泰病故，遺命宇文護接替自己掌管軍政事宜，輔政宇文泰之子宇文覺。由于宇文護論政績、軍功都平平無奇，不足以關隴老人臣服。幸得于謹鼎力支援，勉強接管。
次年，西魏權臣宇文護迫使跋廓廓禅讓宇文覺，建立北周。趙貴被任為太傅、大冢宰，晉封楚國公。
孝闵帝元年，趙貴、獨孤信自認是與宇文泰平輩的元勳重臣，對小一輩的宇文護攝政專權心存不滿。于是兩人密謀刺殺宇文護，到了約定之日，趙貴意圖起事，但被獨孤信所制止。而此事讓宇文盛所知，秘密赴京，向宇文護告發其事。趙貴是以被宇文護處死。
觀其趙貴一生，并無非常出彩的戰績。能拿得出手的一是平定梁仚定之亂，可是仗還沒打，梁仚定就服軟了。二是擊退柔然國的進犯。
同為八柱國的侯莫陳崇單槍匹馬生擒萬俟醜奴、于謹攻下了梁都江陵、李弼決定沙苑大戰的勝負，面對這樣的戰功，趙貴是絕不能望其項背的。論軍事能力甚至更及不上達奚武、楊忠、韋孝寬、若幹惠、王思政等人。
河橋之戰、邙山之戰，這兩戰趙貴都是統率左軍，也都是第一時間被擊潰的一方，導緻西魏的慘敗。尤其是河橋之戰，如果趙貴能再堅持下，而不是第一個撤逃，等後軍李虎前來，可能戰局就是另一番模樣了。
趙貴之是以能位死八柱國一，一方面趙貴是跟随賀拔嶽征關隴的老将，另一方面是因為他是第一個提議擁立宇文泰的人。