1948年11月6日，華野中野兩大野戰軍以徐州為中心，發起淮海戰役，戰役三個階段，分别打掉了黃伯韬兵團、黃維兵團以及杜聿明集團，标志着國民黨精銳徹底被殲滅，長江以北再也沒有大的戰事，而長江以南的國民黨軍，也大多數都是新招募的部隊，戰鬥力并不是很強，随着渡江戰役以後，各大野戰軍陸續南下，開始了打掃戰場。
平心而論，讓黃維出任12兵團司令，其實是有争議的，國民黨軍這一快速強大的機動兵團，胡琏出任比較有利，畢竟黃維在任兵團司令之前，已經有8年時間沒有指揮過軍隊打仗。
黃維是黃埔一期畢業，和胡宗南、俞濟時、杜聿明等都是同學，作為黃埔系的一員幹将，黃維自然也受到了蔣介石的重用，1927年黃維升任第9軍團長，該部是老蔣嫡系第一軍分化出來的部隊，是妥妥的嫡系，1928年黃維調任11師任團長，該部當時還隻是一個雜牌，黃維之是以調任11師，和當時副師長有密切關系。
1928年6月，陳誠調任11師副師長，當時師長為曹萬順，陳誠調任雜牌，是奉了蔣介石的指令去改造和收編雜牌，為了将部隊完全掌控，陳誠在部隊中大量的安插黃埔系将領，像關麟征（時任11師團長）、李默庵、蕭乾。
不過相比于關麟征、李默庵後來各自建立派系以後，黃維卻始終留在了11師，由此被看作是陳誠土木系早期的主要将領。
黃維陸大畢業以後，陳誠提拔他為11師61旅旅長，随着11師擴編為18軍以後，黃維接着出任18軍67師師長，并率部參加淞滬會戰，戰場上黃維率部硬拼日軍精銳部隊，特别是在羅店一戰與日軍交手，打出了中國人的氣勢，從抗日這一點上來說，黃維絕不遜色，甚至還有可能更出色。不過也由于傷亡慘重，黃維“書呆子”的名号也是在這一時期有的。
而更壞的地方在與黃維的脾氣不怎麼樣，和誰也尿不到一個壺裡去，和杜聿明、俞濟時等這些黃埔同學基本上都有沖突，羅卓英卸任以後，黃維曾短暫的任18軍軍長過，後來由于18軍下轄編制太多，于是抽調了一個師連同幾個雜牌重新組建的54軍，考慮到将這一支部隊也納入麾下，陳誠調黃維出任54軍軍長。
不過很顯然陳誠低估了黃維的脾氣，由于此前在18軍的時候，是嫡系部隊，是以部隊給養都是優先補充，基本上都是最好的，但調54軍以後，黃維發現部隊吃的大米之中居然摻着傻子，由于54軍隸屬第九集團軍，當時集團軍司令為關麟征，黃維向上反映，關麟征卻見怪不怪，黃維認定是關麟征從中作梗。
因為54軍任命的問題，關麟征敢直接和陳誠硬頂，把陳誠氣的胃出血，就不難了解為啥黃維和關麟征都尿不到一個壺裡，兩人原來都是一個脾氣，黃維卸任54軍軍長後，坐了一段時間的冷闆凳，一直到抗戰末期，黃維始終負責新兵招募工作，并且還籌備的青年軍，由于抗日熱情持續高漲，黃維征兵工作一度十分順利，黃維也在1946年6月出任新組建的31軍軍長。
不過黃維并沒有機會走上戰場，随着内戰爆發以後，前方兵員緊張，黃維又重新負責征兵工作，并創辦新的軍事學校，可以說自1939年離開部隊以後，黃維基本上就沒帶兵打過仗，他自己也認為自己“久疏戰陣，恐難勝任”，但被老蔣劈頭蓋臉一頓數說，黃維想不答應也不行，結果僅3個月，這個考慮各方勢力平衡的強大兵團，就被我軍“包了餃子”。