張飛自從送劉備離開後，城中一應雜事，俱由陳元龍管理；軍機大事，方由自己參考酌定。一日，張飛設宴請衆官赴席。衆人坐定，張飛言道：“我兄臨去之時，吩咐我要少飲酒，唯恐誤事。衆官今日盡此一醉，明日都需各自戒酒，幫我守城。——今日卻都要滿飲。”言罷，起身給衆官把盞。酒到曹豹面前，曹豹道：“我天生不會飲酒。”張飛道：“戰場厮殺大将，如何會不飲酒？我要你吃上一盞。”曹豹懼怕，隻得飲了一杯。
張飛勸酒
張飛把遍各官，自斟巨觥，連飲了幾十杯，不覺大醉，卻又要起身給衆官把盞。把酒又到曹豹面前，曹豹道：“我實是不能飲酒。”張飛道：“你剛才已經吃了，為何還要推卻？”曹豹再三不飲。張飛醉後酒力發作，發怒道：“你違我将令，該打一百！”便喝令軍士拿下。
陳元龍勸道：“玄德公臨去之時，吩咐過你什麼？”張飛道：“你是文官，隻管文官事，休來管我！”曹豹無奈，隻得求道：“翼德公，看在我女婿面上，且饒恕我罷。”張飛道：“你女婿是誰？”曹豹道：“乃是呂布。”張飛更是大怒，道：“我本不想打你。你卻要用呂布唬我，我偏要打你！我打你，便是打那呂布！”諸人皆勸不住。張飛将曹豹鞭打五十，衆人苦苦告饒，方才停止。
席散，曹豹回去，深恨張飛，連夜修書一封，差人徑去小沛；見得呂布，細說張飛宴上無禮之事，又道：劉備已往淮南，今夜可乘張飛酒醉，帶兵來襲徐州，不可錯此機會。呂布見到書信，便請來陳宮商議。陳宮道：“小沛原本就非久居之地。如今徐州既有可乘之機，此時不取，悔之晚矣。”呂布聽從，随即披挂上馬，領五百騎先行，讓陳宮帶大軍跟進，高順亦随後進發。
小沛離徐州隻有四五十裡，上馬便到。呂布到城下時，才到四更，月色澄清，城上更是沒人覺察。呂布來到城門邊上叫道：“劉使君有機密送到。”城上有曹豹軍校報知曹豹，曹豹上城看了，便令軍士開門。呂布一聲暗号，衆軍齊入，喊聲大起。張飛正醉卧府中，左右急忙搖醒，報說：“呂布賺開城門，殺進來了！”張飛大怒，慌忙披挂，取了丈八蛇矛；才出府門，剛剛上馬，呂布軍馬就已殺到，正與張飛相迎。張飛此時酒猶未醒，不能力戰，呂布素知張飛勇武，也不敢相逼。十八騎燕将，保着張飛，殺出東門。劉備家眷雖還在府中，但都已顧不及了。
曹豹見張飛隻有十數人護衛，又欺他酒醉，遂領了百十人追來。張飛見到曹豹，勃然大怒，拍馬來迎。戰了三合，曹豹敗走，張飛追到河邊，一矛正刺中曹豹後心，連人帶馬，死在河中。張飛在城外招呼士卒，出城者盡随張飛投淮南而去。呂布入城安撫居民，又令軍士一百人守住劉備宅門，諸人不許擅入。
張飛領了數十騎，直到盱眙來見劉備，細說了曹豹與呂布裡應外合，夜襲徐州之事。衆人大驚失色。劉備歎道：“得何足喜，失何足憂！”關羽道：“嫂嫂安在？”張飛道：“皆陷在城中。”劉備默然無語。關羽頓足埋怨，道：“你當初守城之時說的什麼？兄長又曾吩咐過你什麼？今日城池失了，嫂嫂陷了，如何是好！”張飛聞言，一時惶恐無地，拔劍就要自刎。
兄弟痛哭
劉備急忙上前抱住，奪下張飛手中寶劍，擲在地上，道：“古人雲：‘兄弟如手足，妻子如衣服。衣服破，尚可縫；手足斷，安可續？’我三人桃園結義，不求同生，但願同死。如今雖然失了城池家小，卻又怎能忍心讓兄弟中道而亡？況且城池本非我有。家眷雖已被陷，呂布卻必然不會謀害，尚可設計相救。賢弟一時之誤，何至就此舍生！”說罷大哭。關羽、張飛二人俱被感動而泣。
袁術聞知呂布襲了徐州，星夜差人來到呂布處，許糧五萬斛、馬五百匹、金銀一萬兩、彩緞一千匹，讓呂布夾攻劉備。呂布大喜，傳令高順領兵五萬攻襲劉備後方。劉備聞得此信，乘着陰雨天氣，連忙撤兵，棄了盱眙而走，尋思要去東取廣陵。
等高順軍到，劉備已去。高順和紀靈相見，就索要袁術所許之物。紀靈道：“公且回軍，容我去見主公計議。”高順于是告别紀靈回軍，見了呂布說出紀靈言語。呂布正在遲疑，忽有袁術書到。書上言道：“高順雖來，而劉備未除；且待捉了劉備，那時再以所許之物相送。”呂布怒罵袁術失信，欲要起兵讨伐。陳宮攔道：“不可。袁術占據壽春，兵多糧廣，不可輕敵。不如請劉備還屯小沛，使其為我羽翼。他日再令劉備為先鋒，那時先取袁術，後取袁紹，足可縱橫天下。”呂布聽從陳宮言語，令人帶書去迎劉備傳回。
劉備領兵東取廣陵，卻被袁術劫寨，折兵大半。回來正遇上呂布使者，呈上書劄，劉備大喜。關羽、張飛道：“呂布乃是無義之人，不可輕信。”劉備道：“他既以厚情待我，如何還要猜疑！”遂來到徐州。呂布恐劉備還有疑惑，先令人送還家眷。甘、糜二夫人見了劉備，細說了呂布派兵把守宅門，嚴禁諸人不得擅入；又常讓侍妾送來物品，不曾有缺之事。劉備對關羽、張飛道：“我早知呂布必不會害我家眷。”于是入城去謝呂布。張飛痛恨呂布，不肯随往，先奉二嫂往小沛去了。
劉備入城見了呂布拜謝。呂布道：“我并非是想奪城。隻因令弟張飛在此恃酒殺人，恐會誤事，故來守城。”劉備道：“劉備早就想将徐州讓給呂兄。”呂布假意仍要歸還劉備。劉備力辭，仍回小沛駐紮。關羽、張飛心中不忿，劉備道：“屈身守分，以待天時，不可與命相争。”
呂布派人送來糧米緞匹，自此兩家和好。