民國時期，在當時的國民黨軍中，有很多個性迥異的将領，黃維就是其中的一個代表人物。黃維出生于江西一個普通的農村家庭，父親很早就逝世了，後來師範畢業之後回家當老師。1924年，因在學校宣傳進步思想被趕出家鄉。
1924年，在方志敏的安排下，黃維找到了當時的江西中共地下省委負責人趙醒侬，在他的介紹下，黃維進入了黃埔一期學習。他和陳赓，胡宗南，桂永清，鄭洞國等人都是同學，後來被提拔的也非常快。1932年，黃維從陸軍大學畢業之後，升任18軍31旅旅長，深受陳誠的器重，後來也逐漸成為土木系的核心将領。1933年，黃維升任18軍11師師長。
1937年初，黃維被派到德國深造，準備學習一年，但是由于淞滬會戰爆發，黃維被提前征召回國。當時淞滬會戰打的十分慘烈，以羅卓英為首的18軍在戰略要地羅店和日軍打的難舍難分，多位進階将領陣亡，18軍67師師長李樹森也身負重傷，其職務由剛從德國被召回的黃維緊急接替。面對日軍的進攻，黃維率部頂在第一線，打到最後，三個主力團團長，一人戰死兩人重傷，師部就剩下了一個電報員，連夥夫，文書都派上了戰場。最後67師撤下來的時候，這支部隊活着的人連一個團都湊不夠。
1938年，黃維擔任18軍軍長。武漢會戰時，黃維率18軍11師，67師重創日軍第九師團。1939年，黃維又擔任54軍軍長，這支部隊是中央軍部隊，裝備精良，戰鬥力強悍，但是由于和集團軍總司令關麟征關系不好，不久後被調到南京擔任中将高參，此後又負責訓練青年軍。
黃維和其他的國民黨軍将領不同，他深受中國傳統文化的影響，覺得軍人就應該忠君愛國，而且他還是國民黨軍中少數從不A錢，吃空饷，納妾的将領。很多人都說他是書呆子，指揮死闆僵硬，其實在抗戰時期，他的表現很好，并不像外界傳的那樣。黃維之是以被很多人罵做書呆子，是因為他在國民黨軍中為人比較正直，杜聿明在第一次遠征軍失敗時，黃維去檢查部隊損失的情況，杜聿明想讓黃維這位老同學手下留情，還請他吃飯，但是黃維在酒桌上直接讓他下不來台，照實向上級彙報。黃維的清廉正直，讓他在國民黨軍中顯得格格不入，是以很多人對他都比較排斥。
解放戰争期間很長的一段時間裡，黃維一直都想辦一所軍校，以培養一批現代化的軍人。1948年，黃維被任命為12兵團司令。這支部隊是國軍精銳部隊，下轄四個軍和一個快速縱隊，其中18軍還是國軍五大主力之一，戰鬥力十分強悍，中野一開始就差點沒将其圍住，還是華野參謀長陳士渠率三個步兵縱隊攜帶重武器前來增援才将其殲滅。
雙堆集戰役結束後，黃維就對前來探望他的中野三縱副司令劉昌毅說：“你們如今可以直接打過長江了。”劉昌毅不解，黃維接着說：“能打敗我的人，必定能打敗南方的國軍。”黃維深知淮海戰役對雙方的重要性，此戰，國民黨軍的精銳力量全部被殲滅，再無回天之力了。