1938年7月，蒋介石命令十七路军改编为31军团，任孙蔚如为军团长，所属部队除被蒋鼎文扣下、以后再未归还的一个旅外，全部离陕东渡，开赴晋西南抗日第一线，以坚守中条山，保卫黄河安全为任务。蒋介石严令孙蔚如，在任何情况下都不得退过黄河，拼命死守。不久，又将31军团改为第四集团军，孙蔚如任总司令。
蒋介石之所以将第四集团军全部调入中条山，除了借此免去孙蔚如陕西省政府主席职务，把原十七路军挤出故土之外，还另有一番用心。当时，一本日本出的画报上有一幅漫画，对蒋介石的阴谋刻画的淋漓尽致。这幅漫画画的是：坚守中条山的部队穿着破旧衣服，肩扛破枪，身上标有“杂牌”字样。在他们的前面是日本军队，后面是服装齐整、装备齐全的蒋氏嫡系军队，端着刺刀戳向“杂牌”的脊背。这幅漫画虽然是日军的宣传画，但却把蒋介石如此布置，妄图消灭十七路军的险恶用心刻画地惟妙惟肖。对这一点。孙蔚如将军十分清楚，但他又不能公开与蒋介石对抗。一方面，他始终担心在押的杨虎城将军的性命，他怕让蒋介石找到借口加害杨将军；另一方面，他又十分清楚坚守中条山对保卫三秦大地不受日本军队践踏的重要意义。他鼓励部队，要以民族大义为重，英勇杀敌，誓死保卫家乡不受侵略。十七路军一些老部下、老将领也曾当面责怪他，认为不能听从蒋介石的命令，把杨虎城将军缔造的这支部队拿去与日本人拼光，替几十万在他们身后养尊处优、装备精良的蒋介石嫡系部队充当炮灰。孙蔚如将军缄默不语，他苦心孤诣，唯有下定以死抗战的决心。余将以血肉之躯报效国度，舍身家生命以拒日寇，誓与日寇血战到底！但闻黄河水长啸，不求马革裹尸还还！”
日军集中几个师团数万兵力在空军、炮兵的配合下，短短的两年时间里，对中条山防地进行了十一次猖狂的进攻，其中以“血战永济”、“六六战役”、“望原会战”最为惨烈悲壮！大小战役数百次，战况空前激烈，有时为一座山头、一个村镇反复争夺、几经易手。日军攻势强大，人多势重，常使坚守阵地的第四集团军整营整连的伤亡。面对如此艰苦局面，孙蔚如将军下令收缩防线，集中部队，灵活出击，并派出疑兵穿插敌后打运动战、突袭战，搞得日军首尾不得相顾，整体无法推进。两年时间里，日军频繁改变作战方案、撤换指挥官，越是急于跨过中条山越是不得前行，其上报日本军部的作战报告也不得不声称“守备中条山之支那部队虽属杂牌，但其战斗力颇强，不可轻敌”。孙蔚如率领第四集团军全体将士在没有友军支援的配合、军需物资极端缺乏的艰难情势下拼力死战，以近2/3人员伤亡（阵亡2.1万）的惨重代价始终巍然屹立于中条山上，有力遏止了日军打通中亚与德军会合的整体作战企图，用血肉保卫了关中故地，表达了三秦子弟兵的赤胆忠心。
当时的陕西报纸所称“西北整个得以安定，皆赖我英勇将士在北岸艰苦支撑所赐”并非虚言。日军视中条山为华北战场之“盲肠”，全国人民则把第四集团军称为“中条铁柱”。各地进步记者、各界代表团纷纷来到中条山。他们满含热泪，慰劳官兵；四处称颂，盛况空前。形势所迫，蒋介石也不得不对其抗战业绩表示赞扬。孙蔚如将军笑了，他挥笔作下了《满江红.中条山抗日》词一首。词中慷慨吟道：“立马中条，长风起，渊渊代鼓”，“新旧恨，从头数，挽狂澜作个中流砥柱”，复杂的心绪，悲壮的情怀流溢于字里行间。这不仅刻画了他本人当时的精神面貌，而且也表达了全军将士决心在中条山抗战到底、消灭日寇的豪情壮志。
中条山的两年战事中，第四集团军由于一方面有杨虎城缔造该部以来长期与中共合作的传统；另一方面，在抗战中无论人员物资都得不到国民党方面的支持，相反却得到中共党政军各方面的全力以赴的真诚帮助，此间与中共来往甚密。这自然引起蒋介石的忌恨。蒋介石即将第四集团军调离中条山，名为调防河南守备黄河南岸百余里防线，实际目的在于使第四集团军远离中共八路军。孙蔚如将军深知蒋介石用意，他一方面巧妙应付蒋介石借清查部队中“共党分子”从而对部队施加迫害的种种阴谋行为，一方面精心指挥第四集团军进行了荥（阳）广（武）战役，登（封）汜（水）战役，迫使日军退出郑州，困守邙山桥头堡。从中条山战役到河南战役，孙蔚如将军指挥第四集团军依靠中共和社会各界进步人士的帮助，在几十万装备精良的国民党嫡系部队与日军一触即溃、望风而逃、溃不成军的混乱战局中，一帜独树，打了许多硬仗，有利遏止了日本军队猖狂的攻势。
1945年6月，蒋介石见借日本人之手无法消灭杨虎城将军缔造的这只顽强的部队，便采取抽梁换拄的手法，掉离了第四集团军的各主要将领，派其嫡系将领张耀明接掌部队。孙蔚如将军被调去湖北任第六战区司令长官，蒋介石采取明升暗降的手法剥夺了他的兵权，将他置于自己势力的监视包围之下。日本投降时，孙蔚如出任武汉区受降司令，积极负责，解除日军武装20余万人，接收工厂、仓库等300余所，编遣伪军9万余人。