1948年8月，为了应对即将到来的战略决战，老蒋以第18军为骨干组建了第12兵团，该兵团下辖4个军和一个快速纵队，装备精良，兵强马壮，隶属于白崇禧的华中“剿总”序列。第12兵团组建后，陈诚本来打算让胡琏出任兵团司令，但遭到了白崇禧的极力反对，最终事先并不被看好的黄维脱颖而出，当上了兵团司令，胡琏成了黄维的副手。
黄维毕业于黄埔一期，资历比胡琏老，又担任过胡琏的上级，因此胡琏不好公然反对，但他心中不服，于是借口父亲病重请假回了武汉。除了胡琏外，12兵团内部的许多军、师长也不看好黄维，为啥？因为黄维脱离战场太久了。1940年黄维因为和关麟征闹矛盾被解除了第54军军长的职务，此后他再没有领兵上过前线，一直在后方从事后勤供应和教育工作。脱离战场8年多，现在突然把十多万人的部队交给他指挥，他能干好吗？不少人都心存疑虑。
这些人的担心很快变成了现实，1948年11月，黄维率第12兵团进入淮海战场，我军故意示弱，一步步将黄维引入了事先布置好的包围圈。此时黄维才发觉处境不妙，决心组织部队突围，不料他寄予厚望的廖运周阵前起义，突围计划泡了汤。此时的黄维已经进退失据，只能选择在双堆集固守。为了给黄维解围，老蒋一面调兵增援，一面令胡琏空降双堆集指挥部队，但这一切都没能改变第12兵团覆灭的命运。
12月13日下午4时左右，我军对黄维兵团发起总攻。黄维和胡琏自知败局已定，于是各乘坦克突围。跑到半路，黄维的坦克发生故障，他只好徒步过河，走到一半发现河水太深不得不返回，刚上岸解放军就从四面围了上来，他急忙伸手去掏安眠药准备自杀，不料事先准备好的一包安眠药却在过河的时候被泡成了面糊糊，黄维就这样成了二野第3纵队的俘虏。黄维被俘后受到了3纵司令员刘昌毅的接见，他请黄维吃了一顿饭，并向他解释了我军的优待政策。最后刘昌毅真诚地对黄维说：“只要你回到人民这边来，还是有出路的！”
此后黄维进入功德林战犯管理所接受改造，1975年被特赦，在全国政协担任文史专员。1983年第六届全国政协会议召开，黄维当选常务委员，在大会主席台就座，刘昌毅在台下一看黄维竟然在上面坐着，当时就来了气，站起来就要往外走，多亏身边的战友将他拉了回来。散会后黄维看到刘昌毅，主动过来跟他打招呼，刘昌毅这才消了气，对黄维说：“当初我没说错吧？回到人民这边来，是有出路的。”黄维点了点头说：“没错，只有回到人民这边才有出路。”说罢，二人哈哈大笑。