本文取材于羅貫中長篇小說《三國演義》第二十六回（下）關雲長挂印封金，與正史無關。
蜀有五虎上将，魏有五子良将。五虎上将之首是關羽，五子良将之首是張遼。關羽與張遼，英雄相惜，關羽曾對張飛講：“此人武藝不在你我之下”，且不令張飛與之交戰。
根據《三國演義》，關羽與張遼的初次見面應在徐州。呂布與曹操在兖州鏖戰數月，最後兵敗而投劉備，劉備不但沒有排斥呂布，反而非常歡迎，并将他們安置在小沛居住。張遼作為呂布的戰将，應與關羽有過照面，但那個時候的兩人各為其主，也互不熟悉，交集即便有，也不會太多。
不過英雄自有英雄的氣概，也隻有英雄才能識得這副氣概。呂布帳下有兩員猛将，一是高順，一是張遼。雖然高順對呂布忠心耿耿，矢志不渝，但張遼卻不然，為何？士為知己者死，呂布豈是識人者耶？
像高順這麼忠心的人呂布都難以重用，更何況張遼？張遼在呂布帳下之時，能力難以得到充分發揮，而且呂布專殺義父，反複無常，投靠劉備又奪了他的徐州，更令張遼所不齒。是以當呂布讓張遼去攻打劉備時，張遼并未全力執行。
小沛城下，張遼攻打西門，守西門的正是關羽，在這樣的情景下，兩人進行了一次親切交談。關羽問張遼：“公儀表非俗，何故失身于賊？”張遼低頭不語，引兵往東門而去。守東門的是張飛，關羽急忙來到東門，張飛正欲出戰，張遼引兵又退。張飛欲追，關羽攔住，說：“此人武藝不在你我之下。因我以正言感之，頗有自悔之心，故不與我等戰耳。”
張遼隻此一退就給關羽留下了深刻印象，也給自己留了條後路。不久呂布被曹操擊敗，呂布、陳宮、高順等人皆死，張遼本來也是難逃一死，然而卻有人在曹操面前下跪，敢用性命為其擔保，使其幸免于難。誰呢？正是關羽！
關羽保了張遼以後，二人感情急劇升溫，他們在許都度過了一段相對平靜的日子，但接下來發生了衣帶诏事件。關羽随劉備再次回到徐州，斬殺曹操心腹車胄，曹操閃擊徐州，劉備逃亡，關羽被圍土山。張遼念及舊情，将關羽說降。
張遼為說降關羽可謂是做了精心準備，“三罪三便”之說，處處為關羽着想，不由得關羽不慎重考慮。關羽是以提出“三約”，其中最關鍵的一條是“但知劉備去向，不管千裡萬裡，便當辭去”，曹操對此深為不滿。張遼為保關羽性命，勸曹操更施厚恩以結關羽之心，曹操允諾。張遼土山之救關羽與關羽白門樓之救張遼可謂有異曲同工之妙。
然而張遼雖保住了關羽的身，卻留不住他的心。不管曹操如何深恩厚意，關羽總是忘不了劉備，這倒叫張遼為難了。張遼問關羽：“如果劉備死了，你待如何？”關羽答：“願從于地下。”絲毫不留餘地。關羽為了不讓老朋友為難，願先立功以報曹操然後再離去。
白馬之戰，關羽斬顔良；延津之戰，關羽殺文醜；汝南之戰，關羽敗龔都。有此三戰，關羽已完成他的立功之說，且探聽到劉備消息，關羽準備離開。
曹操知張遼與關羽感情深厚，令其前來打探。張遼自忖關羽乃重情重義之人，欲留關羽非有他計，隻有強打感情牌，于是講：“兄與玄德的交情，比弟與兄的交情如何？”
此何意也？你救過我，我也救過你，這是過命的交情，天底下的交情有過于此的嗎？聽到張遼有此一問，關羽微微一笑，答：“我與兄，朋友之交也；我與玄德，是朋友而兄弟、兄弟而主臣者也：豈可共論乎？”
張遼無奈，回報曹操，曹操為留住關羽，回避不見，就是張遼，亦托病不出。關羽多次請辭未果，于是手書辭信一封，将曹操所賜金銀财物以及美女十人原數奉還，漢壽亭侯的大印也懸于堂上，然後奪門而走。曹操聽聞，大驚而歎曰：“雲長去矣！”