张飞自从送刘备离开后，城中一应杂事，俱由陈元龙管理；军机大事，方由自己参考酌定。一日，张飞设宴请众官赴席。众人坐定，张飞言道：“我兄临去之时，吩咐我要少饮酒，唯恐误事。众官今日尽此一醉，明日都需各自戒酒，帮我守城。——今日却都要满饮。”言罢，起身给众官把盏。酒到曹豹面前，曹豹道：“我天生不会饮酒。”张飞道：“战场厮杀大将，如何会不饮酒？我要你吃上一盏。”曹豹惧怕，只得饮了一杯。
张飞劝酒
张飞把遍各官，自斟巨觥，连饮了几十杯，不觉大醉，却又要起身给众官把盏。把酒又到曹豹面前，曹豹道：“我实是不能饮酒。”张飞道：“你刚才已经吃了，为何还要推却？”曹豹再三不饮。张飞醉后酒力发作，发怒道：“你违我将令，该打一百！”便喝令军士拿下。
陈元龙劝道：“玄德公临去之时，吩咐过你什么？”张飞道：“你是文官，只管文官事，休来管我！”曹豹无奈，只得求道：“翼德公，看在我女婿面上，且饶恕我罢。”张飞道：“你女婿是谁？”曹豹道：“乃是吕布。”张飞更是大怒，道：“我本不想打你。你却要用吕布唬我，我偏要打你！我打你，便是打那吕布！”诸人皆劝不住。张飞将曹豹鞭打五十，众人苦苦告饶，方才停止。
席散，曹豹回去，深恨张飞，连夜修书一封，差人径去小沛；见得吕布，细说张飞宴上无礼之事，又道：刘备已往淮南，今夜可乘张飞酒醉，带兵来袭徐州，不可错此机会。吕布见到书信，便请来陈宫商议。陈宫道：“小沛原本就非久居之地。如今徐州既有可乘之机，此时不取，悔之晚矣。”吕布听从，随即披挂上马，领五百骑先行，让陈宫带大军跟进，高顺亦随后进发。
小沛离徐州只有四五十里，上马便到。吕布到城下时，才到四更，月色澄清，城上更是没人觉察。吕布来到城门边上叫道：“刘使君有机密送到。”城上有曹豹军校报知曹豹，曹豹上城看了，便令军士开门。吕布一声暗号，众军齐入，喊声大起。张飞正醉卧府中，左右急忙摇醒，报说：“吕布赚开城门，杀进来了！”张飞大怒，慌忙披挂，取了丈八蛇矛；才出府门，刚刚上马，吕布军马就已杀到，正与张飞相迎。张飞此时酒犹未醒，不能力战，吕布素知张飞勇武，也不敢相逼。十八骑燕将，保着张飞，杀出东门。刘备家眷虽还在府中，但都已顾不及了。
曹豹见张飞只有十数人护卫，又欺他酒醉，遂领了百十人追来。张飞见到曹豹，勃然大怒，拍马来迎。战了三合，曹豹败走，张飞追到河边，一矛正刺中曹豹后心，连人带马，死在河中。张飞在城外招呼士卒，出城者尽随张飞投淮南而去。吕布入城安抚居民，又令军士一百人守住刘备宅门，诸人不许擅入。
张飞领了数十骑，直到盱眙来见刘备，细说了曹豹与吕布里应外合，夜袭徐州之事。众人大惊失色。刘备叹道：“得何足喜，失何足忧！”关羽道：“嫂嫂安在？”张飞道：“皆陷在城中。”刘备默然无语。关羽顿足埋怨，道：“你当初守城之时说的什么？兄长又曾吩咐过你什么？今日城池失了，嫂嫂陷了，如何是好！”张飞闻言，一时惶恐无地，拔剑就要自刎。
兄弟痛哭
刘备急忙上前抱住，夺下张飞手中宝剑，掷在地上，道：“古人云：‘兄弟如手足，妻子如衣服。衣服破，尚可缝；手足断，安可续？’我三人桃园结义，不求同生，但愿同死。如今虽然失了城池家小，却又怎能忍心让兄弟中道而亡？况且城池本非我有。家眷虽已被陷，吕布却必然不会谋害，尚可设计相救。贤弟一时之误，何至就此舍生！”说罢大哭。关羽、张飞二人俱被感动而泣。
袁术闻知吕布袭了徐州，星夜差人来到吕布处，许粮五万斛、马五百匹、金银一万两、彩缎一千匹，让吕布夹攻刘备。吕布大喜，传令高顺领兵五万攻袭刘备后方。刘备闻得此信，乘着阴雨天气，连忙撤兵，弃了盱眙而走，寻思要去东取广陵。
等高顺军到，刘备已去。高顺和纪灵相见，就索要袁术所许之物。纪灵道：“公且回军，容我去见主公计议。”高顺于是告别纪灵回军，见了吕布说出纪灵言语。吕布正在迟疑，忽有袁术书到。书上言道：“高顺虽来，而刘备未除；且待捉了刘备，那时再以所许之物相送。”吕布怒骂袁术失信，欲要起兵讨伐。陈宫拦道：“不可。袁术占据寿春，兵多粮广，不可轻敌。不如请刘备还屯小沛，使其为我羽翼。他日再令刘备为先锋，那时先取袁术，后取袁绍，足可纵横天下。”吕布听从陈宫言语，令人带书去迎刘备返回。
刘备领兵东取广陵，却被袁术劫寨，折兵大半。回来正遇上吕布使者，呈上书札，刘备大喜。关羽、张飞道：“吕布乃是无义之人，不可轻信。”刘备道：“他既以厚情待我，如何还要猜疑！”遂来到徐州。吕布恐刘备还有疑惑，先令人送还家眷。甘、糜二夫人见了刘备，细说了吕布派兵把守宅门，严禁诸人不得擅入；又常让侍妾送来物品，不曾有缺之事。刘备对关羽、张飞道：“我早知吕布必不会害我家眷。”于是入城去谢吕布。张飞痛恨吕布，不肯随往，先奉二嫂往小沛去了。
刘备入城见了吕布拜谢。吕布道：“我并非是想夺城。只因令弟张飞在此恃酒杀人，恐会误事，故来守城。”刘备道：“刘备早就想将徐州让给吕兄。”吕布假意仍要归还刘备。刘备力辞，仍回小沛驻扎。关羽、张飞心中不忿，刘备道：“屈身守分，以待天时，不可与命相争。”
吕布派人送来粮米缎匹，自此两家和好。