民国时期，在当时的国民党军中，有很多个性迥异的将领，黄维就是其中的一个代表人物。黄维出生于江西一个普通的农村家庭，父亲很早就逝世了，后来师范毕业之后回家当老师。1924年，因在学校宣传进步思想被赶出家乡。
1924年，在方志敏的安排下，黄维找到了当时的江西中共地下省委负责人赵醒侬，在他的介绍下，黄维进入了黄埔一期学习。他和陈赓，胡宗南，桂永清，郑洞国等人都是同学，后来被提拔的也非常快。1932年，黄维从陆军大学毕业之后，升任18军31旅旅长，深受陈诚的器重，后来也逐渐成为土木系的核心将领。1933年，黄维升任18军11师师长。
1937年初，黄维被派到德国深造，准备学习一年，但是由于淞沪会战爆发，黄维被提前征召回国。当时淞沪会战打的十分惨烈，以罗卓英为首的18军在战略要地罗店和日军打的难舍难分，多位高级将领阵亡，18军67师师长李树森也身负重伤，其职务由刚从德国被召回的黄维紧急接替。面对日军的进攻，黄维率部顶在第一线，打到最后，三个主力团团长，一人战死两人重伤，师部就剩下了一个电报员，连伙夫，文书都派上了战场。最后67师撤下来的时候，这支部队活着的人连一个团都凑不够。
1938年，黄维担任18军军长。武汉会战时，黄维率18军11师，67师重创日军第九师团。1939年，黄维又担任54军军长，这支部队是中央军部队，装备精良，战斗力强悍，但是由于和集团军总司令关麟征关系不好，不久后被调到南京担任中将高参，此后又负责训练青年军。
黄维和其他的国民党军将领不同，他深受中国传统文化的影响，觉得军人就应该忠君爱国，而且他还是国民党军中少数从不贪污，吃空饷，纳妾的将领。很多人都说他是书呆子，指挥死板僵硬，其实在抗战时期，他的表现很好，并不像外界传的那样。黄维之所以被很多人骂做书呆子，是因为他在国民党军中为人比较正直，杜聿明在第一次远征军失败时，黄维去检查部队损失的情况，杜聿明想让黄维这位老同学手下留情，还请他吃饭，但是黄维在酒桌上直接让他下不来台，照实向上级汇报。黄维的清廉正直，让他在国民党军中显得格格不入，所以很多人对他都比较排斥。
解放战争期间很长的一段时间里，黄维一直都想办一所军校，以培养一批现代化的军人。1948年，黄维被任命为12兵团司令。这支部队是国军精锐部队，下辖四个军和一个快速纵队，其中18军还是国军五大主力之一，战斗力十分强悍，中野一开始就差点没将其围住，还是华野参谋长陈士渠率三个步兵纵队携带重武器前来增援才将其歼灭。
双堆集战役结束后，黄维就对前来探望他的中野三纵副司令刘昌毅说：“你们如今可以直接打过长江了。”刘昌毅不解，黄维接着说：“能打败我的人，必定能打败南方的国军。”黄维深知淮海战役对双方的重要性，此战，国民党军的精锐力量全部被歼灭，再无回天之力了。