1948年8月，蔣介石組建十二兵團，這是一個精銳的機動兵團。大部分國民黨将領認為兵團司令非胡琏莫屬。不料，任指令下來後，司令官卻是黃維，胡琏隻是副司令官。胡琏一氣之下請假去了武漢，新任的十八軍軍長楊伯濤見老軍長如此遭遇，氣憤之下也一度稱病住院。
黃維到十二兵團，對該兵團的士氣影響很大。因為該兵團組建時，基幹部隊就是胡琏任軍長的整編十八軍。這個整編十八軍和“五大主力”之一十八軍還是有差別的，1946年，國民黨軍進行整編時，第十八軍改編為整編第十一師，胡琏任師長。1947年底，南京國防部以整編第十八旅為骨幹，重組在隴海路戰役中被殲滅的整編第三師，并與整編第十一師共同組成整編第十八軍，胡琏任軍長（也稱“胡琏兵團”）。，之後，整編第十師也曾臨時歸胡琏指揮過。
劇版《大決戰》中的黃維
十二兵團組建時，整編師又改回了軍級編制，整編第十一師成了第十八軍，整編第三師成了第十軍 ，整編第十師成了第十四軍。可以看出，十二兵團組建之初的三個軍，都曾劃歸胡琏指揮過，尤其是核心部隊十八軍，胡琏長期擔任軍（師）長。不久後，第八十五軍和第四快速縱隊也劃入該兵團。這樣一來，十二兵團共計有4個軍和1個快速縱隊，總兵力達12萬人，是關内國軍火力最強，裝備最好的一個兵團。對這個機動重裝兵團，蔣介石寄予了厚望，也是他的心頭肉部隊。
有人拿邱清泉兵團（第二兵團）和黃維兵團比，認為邱兵團最多時轄五個軍，應該強于黃維兵團。但實際上，邱兵團的基本部隊是第五軍，其他四個軍良莠不齊。而黃維兵團的四個軍中，十八軍、十四軍、十軍都是以陳誠時期的十八軍為基幹而擴建的，而吳紹周任軍長的八十五軍，也屬于湯恩伯的人事系統，這四個軍的裝備都是很不錯的。此外，黃維兵團還有一個實力不俗的第四快速縱隊。
第四快速縱隊也是“土木系”的精銳，是由第十八軍第一百一十八師擴編的，這是一支由摩托化步兵與坦克兵組成的機械化部隊。這個縱隊有着讓其他國軍部隊所羨慕的裝備：美制M-1式105mm榴彈炮（24門），美制M3A3輕型坦克（24輛）。
由此可見，十二兵團的大部就是陳誠的“土木系”部隊，其裝備火力都是要優于邱清泉兵團的，其實從圍殲黃維兵團的難度，再對比陳官莊圍殲以邱清泉兵團為骨幹的杜聿明集團，可以看出黃維兵團所部的戰鬥意志和頑固程度，都是強于邱兵團的。
這樣一個精銳兵團，司令官由黃維當，這是被當時國民黨進階将領诟病的一件事，因為黃維雖然有清廉的名頭，當年任軍事主官時對士兵也不錯，但是此人打仗過于呆闆，缺乏應變。普遍的觀點是：黃維可以去軍校當一個好的教官，但是駕馭一個兵團實在是勉為其難了。
劇版《大決戰》中，蔣介石居然将黃維比作曾國藩
黃維能當上兵團司令，其實是各方角逐的結果。南京國防部一開始的人選拟定的就是胡琏，畢竟當時的整編軍也就相當于縮小版的兵團，解放軍也稱呼整編十八軍為“胡琏兵團”。但是華中“剿總”總司令白崇禧和國防部長何應欽堅決反對，參謀總長顧祝同則積極支援胡琏。
白崇禧的反對很好了解，他這個華中"剿總”所轄的部隊，除了桂系的張淦兵團外，大都是蔣介石的嫡系，如今再加入一個十二兵團，那麼華中的兵力構成桂系就越吃虧了。十二兵團精銳不假，但是若讓胡琏當司令官，白崇禧隻怕駕馭不了。
那麼何應欽曾當過黃埔軍校的總教官，怎麼會反對胡琏這個黃埔四期生呢？問題的關鍵就在于，胡琏是陳誠“土木系”的鐵杆骨幹，何應欽和陳誠争鬥多年，勢同水火。1944年，何應欽在和陳誠的争鬥中失敗，當了十幾年的軍政部長被陳誠接替，1946年5月，何應欽幹脆連參謀總長、陸軍總司令的職務也被拿掉，被蔣介石派到國外去考察，直至1948年春才得以回國。由于陳誠在東北被解放軍橫掃，損兵折将，丢城失地，被迫躲到了上海養病，何應欽這才感到心中惡氣出了不少，是以在十二兵團司令官的人選上，他又怎麼會支援胡琏呢？
白崇禧和何應欽都反對，蔣介石也隻得放棄了胡琏，在反複權衡後，提議黃維就任，黃維當時正在籌備創辦一個所謂的新式軍官學校，正式軍職是國防部聯勤總部副總司令。
”培我“，是蔣介石贈給黃維的字
在白崇禧看來，黃維明顯比胡琏好對付得多，也就同意了。至于何應欽，反對胡琏其實是因為其“土木系”的身份，雖然黃維也是陳誠系統的，但是為人老實，何應欽對這個人選也算滿意，畢竟黃維是黃埔一期的，對一期生，何應欽和蔣介石都是有一種特殊的感情在裡面。
就這樣，“老實人”黃維成了十二兵團司令，而他一開始還不想去，上任前還對蔣介石說，仗打完後他繼續回軍校教書。黃維到十二兵團後，見楊伯濤等胡琏的親信怨氣很大，就說自己隻是臨時代理，過一段時間就把兵團交給胡琏，可見，黃維這個人倒也不貪戀兵權，人品也尚可。
蔣介石組建第十二兵團，最初是希望以這個機動兵團活動于武漢外圍，達到機動防禦的目的。白崇禧認為解放軍在解放襄樊地區後，有可能再發起更大的攻勢，于是在十月初，讓黃維兵團由駐馬店出發，沿途搜尋攻擊，試圖尋找中原野戰軍的主力決戰。
黃維兵團晃蕩了二十多天，也未能尋見解放軍主力。到了11月初，就在黃維所部正準備休整的時候，解放軍發起了淮海戰役。
11月8日，第三綏靖區副司令官張克俠、何基沣等人率所部2萬餘人在運河前線起義，這樣一來隴海東線門洞大開。大驚失色的蔣介石，決定将黃維兵團調往徐州，作為戰略預備隊。
蔣介石的指令下達後，黃維連軍事會議都沒有開，給所部軍長電話通知後，就讓兵團火速向北開進。從這一點倒可以看出，在服從蔣介石的指令這點上，黃維在國軍将領中确實是數一數二的。但是，也正是這種無條件的服從和臨敵應變的不足，讓北上的黃維兵團，輕松地鑽入了中野布好的口袋。