張遼出生于并州雁門郡馬邑縣（今山西朔州），張遼本是聶壹（馬邑之謀的發起者）的後人，其家族為了避怨而改為張姓。
建安五年（200年），官渡之戰爆發。袁紹首先派兵襲擊白馬。曹操依荀攸之計，親率軍隊救援白馬，張遼與關羽作為前鋒，擊破顔良軍隊。在官渡之戰的數次戰鬥中，張遼數有戰功，遷裨将軍。
建安六年（201年），平昌豨，張遼及夏侯淵軍團圍昌豨于東海，但是久攻不下，糧草又不支，本來夏侯淵決定回軍，但是張遼分析道：“數日以來，每行諸圍，豨辄屬目視遼，又其射矢更稀，此必豨計猶豫，故不力戰。遼欲挑與語，傥可誘也？”于是，張遼派遣使者向昌豨傳話：“曹公有指令，讓張遼來對你傳達。”昌豨果然走下來與張遼對話。張遼便說：“曹公神武，正在用他的美德感化四方，先歸附的可以受大賞。”于是昌豨便答應投降。張遼知其肯降，于是隻身上三公山，入昌豨家中，并拜候其家人。昌豨見張遼如此坦誠相對，心中歡喜，便随之往見曹操。曹操先遣昌豨返還東海郡。随後，曹操便責備張遼道：“隻身赴敵巢穴，這不是大将所為。”張遼拜謝了曹操的關懷，又根據當時的形勢，回答道：“憑着明公威信著于四海，我張遼拿着聖旨，昌豨必然不敢害我。是以我才這麼做。”此次事件，張遼在夏侯淵面前展現了明察秋毫，在昌豨面前展現了剛柔并濟，在曹操面前展現了料敵雄斷。
建安十二年（207年），曹操帶領先鋒部隊登上白狼山，突然與敵兵遭遇。敵人的數量很多。當時，曹操軍隊的主力重兵還在後方，尚未到達前線，而曹操身邊隻有少量的軍隊。曹軍将士們希望等待後續部隊，并對目前的危險局面都感到恐懼。在“左右皆懼”的曹軍氛圍中，張遼力排衆議，反對畏敵不前，極力勸說曹操應當趁着胡虜的陣勢不整，立刻進行交戰，而不是等待後援。張遼勸戰時的語氣非常振奮。曹操十分欣賞張遼的雄壯鬥志，又看見烏桓的軍隊尚未排好戰鬥陣形，于是，采納了張遼的建議。曹操親自将自己所持的麾，授予給張遼暫用，下令由張遼指揮先鋒部隊出戰。張遼率軍突擊，大破烏桓軍隊，并臨陣斬殺了以“骁武”著稱的烏桓單于蹋頓。
建安二十年（215年），雖然孫權帶領十萬大軍，以及呂蒙、甘甯、陳武、徐盛、宋謙、潘璋、賀齊、淩統、蔣欽等衆多的東吳名将一起進攻合肥。但是，張遼率領800人沖陣東吳十萬大軍，使得孫權以“走登高冢”的方式逃命，張遼突出重圍之後，為了救援那些身陷重圍的将士們而再次沖進入東吳十萬大軍。猛将衆多的東吳軍隊都無法擋住張遼，最終，被張遼擊破而敗走。從此，張遼威震江東。每當江東地區的小孩們啼哭不止，小孩們的父母就會說“張遼來了”來吓唬小孩們。而在日本，民間流傳着“遼來來（遼來々）”的俗語。該俗語，是緣于唐朝、宋朝的中日文化交流，使得“張遼止啼”的典故傳入日本，并在日本民間興盛了數百年之久。直到1274年的文永之役，該俗語在日本民間的盛行地位才被“蒙古來襲”所取代。
黃初三年（222年），張遼奉命還屯雍丘，卻在此得病。正當其時，孫權再次背叛曹魏，曹丕派張遼乘舟，與曹休到海陵臨江駐防。此時，雖然張遼受到曹休（曹丕的族兄）的督領，但孫權得知張遼至此，甚為忌憚，敕令諸将道：“張遼雖然抱病，但仍是勇不可當的，千萬要謹慎在意！”同年，張遼與王淩等人進軍至廣陵。一天夜裡，呂範等人的東吳水軍漂至北岸。張遼與王淩等人出戰，大破吳将呂範等人，并繳獲了大量舟船。但張遼的病情卻也日漸嚴重，最後終于在江都逝世，一代名将就此隕落。
張遼墓位于安徽省合肥市逍遙津公園湖中島上，為衣冠冢，現存墓冢，張遼陳列館、逍遙閣和渡津橋，園中有張遼持刀立馬的青銅塑像。