1948年8月，蒋介石组建十二兵团，这是一个精锐的机动兵团。大部分国民党将领认为兵团司令非胡琏莫属。不料，任命令下来后，司令官却是黄维，胡琏只是副司令官。胡琏一气之下请假去了武汉，新任的十八军军长杨伯涛见老军长如此遭遇，气愤之下也一度称病住院。
黄维到十二兵团，对该兵团的士气影响很大。因为该兵团组建时，基干部队就是胡琏任军长的整编十八军。这个整编十八军和“五大主力”之一十八军还是有区别的，1946年，国民党军进行整编时，第十八军改编为整编第十一师，胡琏任师长。1947年底，南京国防部以整编第十八旅为骨干，重组在陇海路战役中被歼灭的整编第三师，并与整编第十一师共同组成整编第十八军，胡琏任军长（也称“胡琏兵团”）。，之后，整编第十师也曾临时归胡琏指挥过。
剧版《大决战》中的黄维
十二兵团组建时，整编师又改回了军级编制，整编第十一师成了第十八军，整编第三师成了第十军 ，整编第十师成了第十四军。可以看出，十二兵团组建之初的三个军，都曾划归胡琏指挥过，尤其是核心部队十八军，胡琏长期担任军（师）长。不久后，第八十五军和第四快速纵队也划入该兵团。这样一来，十二兵团共计有4个军和1个快速纵队，总兵力达12万人，是关内国军火力最强，装备最好的一个兵团。对这个机动重装兵团，蒋介石寄予了厚望，也是他的心头肉部队。
有人拿邱清泉兵团（第二兵团）和黄维兵团比，认为邱兵团最多时辖五个军，应该强于黄维兵团。但实际上，邱兵团的基本部队是第五军，其他四个军良莠不齐。而黄维兵团的四个军中，十八军、十四军、十军都是以陈诚时期的十八军为基干而扩建的，而吴绍周任军长的八十五军，也属于汤恩伯的人事系统，这四个军的装备都是很不错的。此外，黄维兵团还有一个实力不俗的第四快速纵队。
第四快速纵队也是“土木系”的精锐，是由第十八军第一百一十八师扩编的，这是一支由摩托化步兵与坦克兵组成的机械化部队。这个纵队有着让其他国军部队所羡慕的装备：美制M-1式105mm榴弹炮（24门），美制M3A3轻型坦克（24辆）。
由此可见，十二兵团的大部就是陈诚的“土木系”部队，其装备火力都是要优于邱清泉兵团的，其实从围歼黄维兵团的难度，再对比陈官庄围歼以邱清泉兵团为骨干的杜聿明集团，可以看出黄维兵团所部的战斗意志和顽固程度，都是强于邱兵团的。
这样一个精锐兵团，司令官由黄维当，这是被当时国民党高级将领诟病的一件事，因为黄维虽然有清廉的名头，当年任军事主官时对士兵也不错，但是此人打仗过于呆板，缺乏应变。普遍的观点是：黄维可以去军校当一个好的教官，但是驾驭一个兵团实在是勉为其难了。
剧版《大决战》中，蒋介石居然将黄维比作曾国藩
黄维能当上兵团司令，其实是各方角逐的结果。南京国防部一开始的人选拟定的就是胡琏，毕竟当时的整编军也就相当于缩小版的兵团，解放军也称呼整编十八军为“胡琏兵团”。但是华中“剿总”总司令白崇禧和国防部长何应钦坚决反对，参谋总长顾祝同则积极支持胡琏。
白崇禧的反对很好理解，他这个华中"剿总”所辖的部队，除了桂系的张淦兵团外，大都是蒋介石的嫡系，如今再加入一个十二兵团，那么华中的兵力构成桂系就越吃亏了。十二兵团精锐不假，但是若让胡琏当司令官，白崇禧只怕驾驭不了。
那么何应钦曾当过黄埔军校的总教官，怎么会反对胡琏这个黄埔四期生呢？问题的关键就在于，胡琏是陈诚“土木系”的铁杆骨干，何应钦和陈诚争斗多年，势同水火。1944年，何应钦在和陈诚的争斗中失败，当了十几年的军政部长被陈诚接替，1946年5月，何应钦干脆连参谋总长、陆军总司令的职务也被拿掉，被蒋介石派到国外去考察，直至1948年春才得以回国。由于陈诚在东北被解放军横扫，损兵折将，丢城失地，被迫躲到了上海养病，何应钦这才感到心中恶气出了不少，所以在十二兵团司令官的人选上，他又怎么会支持胡琏呢？
白崇禧和何应钦都反对，蒋介石也只得放弃了胡琏，在反复权衡后，提议黄维就任，黄维当时正在筹备创办一个所谓的新式军官学校，正式军职是国防部联勤总部副总司令。
”培我“，是蒋介石赠给黄维的字
在白崇禧看来，黄维明显比胡琏好对付得多，也就同意了。至于何应钦，反对胡琏其实是因为其“土木系”的身份，虽然黄维也是陈诚系统的，但是为人老实，何应钦对这个人选也算满意，毕竟黄维是黄埔一期的，对一期生，何应钦和蒋介石都是有一种特殊的感情在里面。
就这样，“老实人”黄维成了十二兵团司令，而他一开始还不想去，上任前还对蒋介石说，仗打完后他继续回军校教书。黄维到十二兵团后，见杨伯涛等胡琏的亲信怨气很大，就说自己只是临时代理，过一段时间就把兵团交给胡琏，可见，黄维这个人倒也不贪恋兵权，人品也尚可。
蒋介石组建第十二兵团，最初是希望以这个机动兵团活动于武汉外围，达到机动防御的目的。白崇禧认为解放军在解放襄樊地区后，有可能再发起更大的攻势，于是在十月初，让黄维兵团由驻马店出发，沿途搜索攻击，试图寻找中原野战军的主力决战。
黄维兵团晃荡了二十多天，也未能寻见解放军主力。到了11月初，就在黄维所部正准备休整的时候，解放军发起了淮海战役。
11月8日，第三绥靖区副司令官张克侠、何基沣等人率所部2万余人在运河前线起义，这样一来陇海东线门洞大开。大惊失色的蒋介石，决定将黄维兵团调往徐州，作为战略预备队。
蒋介石的命令下达后，黄维连军事会议都没有开，给所部军长电话通知后，就让兵团火速向北开进。从这一点倒可以看出，在服从蒋介石的命令这点上，黄维在国军将领中确实是数一数二的。但是，也正是这种无条件的服从和临敌应变的不足，让北上的黄维兵团，轻松地钻入了中野布好的口袋。