1948年8月，為了應對即将到來的戰略決戰，老蔣以第18軍為骨幹組建了第12兵團，該兵團下轄4個軍和一個快速縱隊，裝備精良，兵強馬壯，隸屬于白崇禧的華中“剿總”序列。第12兵團組建後，陳誠本來打算讓胡琏出任兵團司令，但遭到了白崇禧的極力反對，最終事先并不被看好的黃維脫穎而出，當上了兵團司令，胡琏成了黃維的副手。
黃維畢業于黃埔一期，資曆比胡琏老，又擔任過胡琏的上級，是以胡琏不好公然反對，但他心中不服，于是借口父親病重請假回了武漢。除了胡琏外，12兵團内部的許多軍、師長也不看好黃維，為啥？因為黃維脫離戰場太久了。1940年黃維因為和關麟征鬧沖突被解除了第54軍軍長的職務，此後他再沒有領兵上過前線，一直在後方從事後勤供應和教育工作。脫離戰場8年多，現在突然把十多萬人的部隊交給他指揮，他能幹好嗎？不少人都心存疑慮。
這些人的擔心很快變成了現實，1948年11月，黃維率第12兵團進入淮海戰場，我軍故意示弱，一步步将黃維引入了事先布置好的包圍圈。此時黃維才發覺處境不妙，決心組織部隊突圍，不料他寄予厚望的廖運周陣前起義，突圍計劃泡了湯。此時的黃維已經進退失據，隻能選擇在雙堆集固守。為了給黃維解圍，老蔣一面調兵增援，一面令胡琏空降雙堆集指揮部隊，但這一切都沒能改變第12兵團覆滅的命運。
12月13日下午4時左右，我軍對黃維兵團發起總攻。黃維和胡琏自知敗局已定，于是各乘坦克突圍。跑到半路，黃維的坦克發生故障，他隻好徒步過河，走到一半發現河水太深不得不傳回，剛上岸解放軍就從四面圍了上來，他急忙伸手去掏安眠藥準備自殺，不料事先準備好的一包安眠藥卻在過河的時候被泡成了面糊糊，黃維就這樣成了二野第3縱隊的俘虜。黃維被俘後受到了3縱司令員劉昌毅的接見，他請黃維吃了一頓飯，并向他解釋了我軍的優待政策。最後劉昌毅真誠地對黃維說：“隻要你回到人民這邊來，還是有出路的！”
此後黃維進入功德林戰犯管理所接受改造，1975年被特赦，在全國政協擔任文史專員。1983年第六屆全國政協會議召開，黃維當選常務委員，在大會主席台就座，劉昌毅在台下一看黃維竟然在上面坐着，當時就來了氣，站起來就要往外走，多虧身邊的戰友将他拉了回來。散會後黃維看到劉昌毅，主動過來跟他打招呼，劉昌毅這才消了氣，對黃維說：“當初我沒說錯吧？回到人民這邊來，是有出路的。”黃維點了點頭說：“沒錯，隻有回到人民這邊才有出路。”說罷，二人哈哈大笑。