對劉彧來說，薛安都叛變，引來北魏大軍雖然有些出乎意料，可他對此也沒有太過緊張。在他看來，先前派去炫耀軍威的大軍正好可以派上用途了。
泰始二年（公元466年，北魏天安元年）十二月，張永、沈攸之的軍隊已經逼近彭城。宋軍在下礚休整駐軍後開始各種忙碌，羽林監王穆之率兵五千人在武原守備軍用物資，龍骧将軍謝善居率領二千士兵據守呂梁，散騎侍郎張引領卒二千據守茱萸，監督當地百姓上交軍糧。劉宋大軍來勢洶洶，大有一舉擊敗薛安都平定叛亂的架勢。
可劉宋沒有想到，眼前的敵人已經不單是薛安都了。尉遲元（尉元）率領北魏大軍也抵達了彭城，薛安都趕忙出城迎接。尉遲元随即派部将李璨跟薛安都先行入城，控制所有城門。随後又派孔伯恭率精銳部隊二千人，巡邏于城内外，彭城被北魏牢牢掌控。
不知情的宋軍在當天晚上就對彭城發起了進攻，張永親自率軍攻擊彭城南門。但此時彭城的守備力量已不是張永能對付的，最終無功而返，隻能率軍傳回營地。
擊退宋軍第一波進攻後，彭城内部也出現了一些問題。由于尉遲元輕視薛安都，對他很不禮貌。薛安都對此十分生氣，開始為自己投降之舉感到後悔，便打算背叛北魏重回劉宋。但尉遲元早已在彭城内外布滿了眼線，他很快就察覺到了異樣，開始加強警戒。
薛安都是以不敢輕舉妄動，但尉遲元畢竟對此事知道了大概，這對薛安都還是很不利的。薛安都于是連忙開始自救，一邊賄賂尉遲元，一邊把罪責推給女婿裴祖隆。尉遲元也不想讓彭城形勢再起波瀾，就順勢就把裴祖隆殺了，完結了此事。
穩定了局勢後，尉遲元準備對劉宋軍隊動手。考慮到張永占據險要的地形，不宜正面和他對抗。尉遲元于是命薛安都與李璨等固守彭城，自己率精銳部隊進軍，先攻擊據守呂梁的謝善居，切斷了張永的糧道。謝善居逃奔據守茱萸的張引，兩人又東奔據守武原的王穆之。尉遲元當然不會給他們機會，率軍攻陷王穆之留守的辎重基地武原。王穆之損失慘重，隻得率殘餘部隊投奔張永。
泰始三年（公元467年，北魏天安二年）正月，得知自己的後勤補給線被切斷，自知無力再戰的張永等人決定棄城連夜逃跑。誰知天公不作美，天氣十分寒冷，又趕上天下大雪，泗水冰封，船隻不能移動，張永命部隊放棄船隻，徒步南奔。結果士卒凍死的有一大半，手腳折斷得有十分之七八。
尉遲元則趁機率軍追擊，繞到宋軍前面堵截，薛安都在後面追殺，在呂梁的東面大敗張永軍，被殺者數以萬計，六十裡之遙，屍體重疊，抛棄的軍用物資及武器，更無法計數。張永雖然自己的腳趾也被凍掉，好在與沈攸之僥幸逃脫。梁、南秦二州刺史垣恭祖等人被北魏俘虜。
大軍戰敗的消息很快傳到了建康，劉彧連忙召叢集臣商議對策，但衆人都無計可施，劉彧看到蔡興宗後感慨地說：“在你面前，我深感慚愧。我真後悔當初沒有聽你的。”然後下令貶張永為左将軍，免除沈攸之的官職，命他以貞陽公的名義兼任現職，傳回淮陰駐紮。
這一戰劉宋可謂是損失慘重，徐州、兖州和豫州淮西(汝南、新蔡、南頓、颍川諸郡)都被北魏占領，冀州和青州也是岌岌可危。
和先前拓跋焘時期南下不同，這一次北魏可不是燒殺劫掠一番就撤退，而是準備好好統治這些地方。尉遲元因彭城兵荒馬亂之後，無論官府還是民間，财力全都枯竭，是以特向北魏朝廷請求撥發冀、相、濟、兖四州的庫存糧食，用張永所抛棄的九百艘船隻，順清河運載，赈濟新并入版圖的居民，北魏朝廷準許了。北魏此舉也赢得了當地的民心，但北魏的胃口會僅限于此？