黃維是彭德懷的“克星”，1932年工農紅軍進攻贛州，總指揮是彭德懷，但結果以慘敗收場。對于攻打贛州的敗仗，彭德懷至死也沒弄明白，讓他慘敗的不是馬昆，而是真正的對手黃維。此時的黃維才28歲。
黃維曾先後參加淞滬會戰、武漢保衛戰、緬甸反攻等，在抗日戰争中立下赫赫功勳。其中淞滬會戰号稱"血肉磨坊"的羅店戰役中表現異常神勇。
黃維女兒曾說：“羅店争奪戰打了兩個多月，四進四出，中日雙方死傷兩萬餘人。日本稱羅店為‘血肉磨坊’，一點不為過。父親臨最前線指揮戰鬥，他在掩體裡教導士兵在打槍的同時如何保護自己的生命。他還知道将士們長時間泡在積滿髒水的戰壕掩體裡被螞蝗鑽咬，因為他也在戰壕裡。”
在正式出版的15種毛主席著作中，關于黃維的名字，毛主席曾提到144次，這是個驚人的數字。這也從一方面反映出毛主席對黃維軍事才能的看重。