民國三十七年（1948年），中原戰局仍然混沌一片，勝負未分，劉鄧大軍千裡躍進大别山雖然達到了将戰争引向蔣管區的目的，但解放軍在中原戰場上仍然處處被動，華野分兵之後也是被國軍追着打。迫不得已，中央決心派粟裕率三個縱隊渡江南進，進行第二步的向敵後出擊，以吸引敵軍主力回援江南地區，減輕中原我軍的壓力。粟裕算了一筆賬後，認為還是留在江北打大仗更劃算，并将自己的意見報到了中央。中央命陳毅和粟裕一起到城南莊中央駐地具體彙報，粟裕終于說服中央同意了留在江北打大仗的意見，但中央也給他留了一個任務，一年之内消滅國軍在中原戰場的主力部隊，第五軍。
民國二十七年（1938年）初，在蘇聯的幫助下，杜聿明率領的裝甲兵團在湖南湘潭被改編為200師，這是國軍中的第一個機械化部隊。這個師包括兩個戰車團，兩個摩托化步兵團，汽車團、工兵團、炮兵團、搜尋裝甲兵團等部隊。戰車團有蘇聯的9.5噸戰車、英國6.5噸威克斯戰車、意大利2.5噸菲亞特戰車等，由蘇聯顧問團負責進行機械化軍事教育訓練。這年冬天，200師奉命從湖南開到廣西全州，擴編為新編十一軍，不久後番号改為第五軍，杜聿明任軍長，200師師長由戴安瀾接任。就在成軍的這年冬天，第五軍擔任對昆侖關的反攻，200師和榮譽一師擔任正面進攻任務，消滅日軍号稱鋼軍的第五師團主力，擊斃旅團長中村正雄。
之後，杜聿明又率領第五軍參加了第一次入緬作戰。實際上，在第一次入緬作戰中，真正與日軍能夠進行正面對抗的，也隻有第五軍的200師、新編二十二師、九十六師，以及第六軍的新編三十八師。這也是第一次入緬作戰的遠征軍中，戰鬥力最強的幾個部隊。200師在同古按照原定的同古會戰計劃，與日軍再同古進行了半個多月的正面對抗，不落下風，一直到英軍爽約放棄西線抵抗，東線第六軍和六十六軍被日軍突破之後，已經傷亡慘重，才不得不奉命向曼德勒方向撤退，在撤退時，200師師長戴安瀾陣亡。而在撤退過程中，廖耀湘率領的新編二十二師又在逐次抵抗日軍追擊師大放異彩，一舉成名。
杜聿明
按照杜聿明的計劃，雖然同古會戰沒有打成，還是有機會在向後撤退之後，在平滿納再次組織與日軍進行會戰。他的計劃是由最後入緬的第五軍下屬部隊九十六師先在平滿納構築堅固陣地，抵抗日軍，200師和新編二十二師在撤退到平滿納後先退到兩翼進行整頓補充，等到九十六師将日軍持續消耗一段時間後，即由200師和新編二十二師從兩翼将日軍反包圍并殲滅之。但這個計劃再次由于英軍掉鍊子，而被迫放棄了。而此時戰局已經急劇惡化，杜聿明隻能被迫率200師和新編二十二師傳回國内。在翻越野人山時，因為路途險峻，補給斷絕，不得不忍痛丢棄了幾乎所有重裝備。
後在已經跟随英軍先期退到印度列多的新編三十八師的接應下，杜聿明率200師和新編二十二師殘部撤退到了列多，九十六師則在翻越野人山之後，在滇西北翻越高黎貢山，渡過怒江，傳回國内。國軍統帥部之後又下令将新編二十二師和新編三十八師留在印度，開往印度英帕爾，接受美援裝備，加上後來調入的新編三十師、十四師和五十師，組成了後來的新一軍和新六軍，200師則随杜聿明被空運回國，經過補充和整訓之後，在昆明擔任城防任務，九十六師也在之後不久歸建。這之後，杜聿明的職務一再晉升，逐漸脫離了第五軍，第五軍軍長則由邱清泉接任。
解放戰争中，國軍五大主力部隊中，新一軍和新六軍随杜聿明前往東北參戰，最後在遼沈戰役中被全殲，原來的七十四軍國軍進行改編時被改編為整編七十四師，最後再孟良崮戰役中被粟裕“百萬軍中取上将首級”，十八軍作為土木系骨幹部隊，一度被改編為整編十一師，一直由胡琏率領，在華東和中原戰場作戰，相比之下，五大主力中，隻有第五軍的番号在解放戰争中始終未變，而且，主力架構保持得比較完整。到最後在淮海戰役中被華野部隊全殲時，除了九十六師調入七十軍以加強其戰鬥力之外，200師仍然保留在第五軍編制内，從緬甸回國後調入第五軍的四十五師也仍然保持在第五軍編制内，此外又在淮海戰役之前調入了四十六師。
邱清泉
粟裕在中央立下軍令狀後，先是在豫東戰役之前計劃在魯西南圍點打援，吸引第五軍來援，再在半路上設伏圍殲第五軍。但因為戰場形勢變化，臨時改為圍攻開封，而增援部隊隻有區壽年兵團被解放軍包圍，邱清泉則十分狡猾，不僅未被解放軍包圍，而且在黃百韬兵團被包圍後，突破華野阻擊陣地，将黃百韬兵團救出來了。此後，國軍統帥部在編組兵團時，以第五軍為基本骨幹，加上七十軍、七十四軍、七十二軍，編成了邱清泉的第二兵團，成為國軍在華東戰場上最為強大的主力兵團，邱清泉升任兵團司令之後，第五軍軍長則由熊笑三接任。此時的第五軍下轄三個師和一個騎兵旅，共計五萬餘人。
在淮海戰役中，邱清泉率第二兵團調到徐州參戰，但無論是在救援黃百韬兵團時，還是在被解放軍包圍在陳官莊之後救援黃維兵團的作戰，邱清泉都沒有讓第五軍直接參戰，隻在從徐州撤退時，由四十五師擔任整個兵團的後衛部隊。也是因為解放軍追擊部隊追上了四十五師，邱清泉舍不得放棄四十五師，乃至于下令整個兵團都停止前進，再派九十六師回師去接應四十五師突圍出來。在包圍圈裡，邱清泉也将第五軍置于整個國軍防禦體系的中心位置，在初期作戰中，第五軍陣地上連一個炮彈都沒落過。直到1949年1月10日解放軍發動總攻後，國軍陣地被突破，杜聿明、邱清泉等人才躲進了第五軍軍部。
而在解放軍發動總攻之後，早已人困馬乏的國軍部隊大多數都很快就全線崩潰，熊笑三率先偷偷溜走，四十五師師長郭吉謙臨時升任第五軍軍長，負責指揮。杜聿明和邱清泉決定在一個營的掩護下突圍後，四十五師在解放軍的強大攻勢之下，被迫同意投降，四十六師也以同樣方式放下武器，向解放軍投降，而200師則一直頑抗到了最後，直到剩下不足一千人，國軍其餘部隊已經全部被解決，四周已經聽不到槍炮聲，200師殘餘部隊才最後停止抵抗，放下武器投降。這個國軍精銳部隊也就此從曆史上消失。