曆史是什麼：是過去傳到将來的回聲，是将來對過去的反映。——雨果
抗戰爆發後，由于國民黨軍隊長期忽視政治工作，擾民事件時有發生，這就加深了軍民之間的沖突。面對群眾的冷漠，馮玉祥不禁十分困惑：“為什麼北伐的時候，我們的士兵在前線打仗，後方的群眾便送茶，送水，送稀飯，十分的殷勤？為什麼我們現在在前線抗敵，我們戰壕裡的将士有一兩天不見飯的，而後方的群眾老是不管？”而蔣介石也意識到：“政治工作效能太差，未能予前方戰争以确切有益的協助”。
1938年1月，周恩來向國民黨提出了改進軍隊政治工作的建議。他指出：“改造軍隊最重要的一環，就是建立革命的政治工作制度。隻有在抗戰軍隊中把政治工作實際地建立起來，才能把民族抗戰的戰鬥力提高，才能把官與兵、軍與民聯接成一條心”。具體說來，應從幾個方面來進行：
（一）向每個部隊的全體官兵實施革命的政治教育；
（二）努力注意改善士兵待遇及生活；
（三）建立革命軍隊自覺的革命軍風紀；
（四）保障軍事指揮員在軍事行政上指令的貫徹執行；
（五）全體政治從業人員以身作則的模範作用。
周恩來的建議切中要害，是以被國民黨接受。1938年2月，國民政府軍事委員會将第六部（群眾組訓部）和政訓處改組為政治部，由陳誠任部長，周恩來、黃琪翔任副部長。政治部恢複後，即着手健全部隊各級政工機構的設定，規定“原有各部隊政訓處一律改為政治部，并予各連增設政治指導員，普及政治工作”。11月，陳誠更明确定位了政治工作的對象和目的：“對軍隊應以提高士氣，撫養傷病，防止逃亡為目的。對群眾應以收攬人心，安輯流亡，不擾民，不拉夫為原則。對敵僞應以清除漢奸，毀滅僞組織，瓦解僞軍，搖動敵軍為目的。”
在此期間，全軍各級政工機構均在短時間内設立完畢，政工隊伍也得到迅猛發展。1940年，政勞工數已飙升至近3萬人，比抗戰前增加近十倍，隊伍素質亦有一定提高。在許多部隊，官兵對政工幹部的觀念發生了變化，“已從官兵對政勞工員輕視仇視到重視，從軍政對立到軍政合一，政勞工員的地位已比戰前提高了”。是以，“政勞工員幹勁也較大，對提高士氣，鼓舞民心起了一定的作用”。尤其是在共産黨員的積極參與和帶動下，抗戰初期國民黨軍隊政工有了不小起色。這一階段，“全國部隊從未發生背叛主義與投降敵僞之情事”，“多數部隊犧牲甚大，官兵多願樂從，且産生無數忠勇故事”。
但很快地，國民黨軍隊政工再顯疲沓。這主要是以下原因造成的。
第一，清除了政治部中的共産黨員。抗戰初期，共産黨員的加入給國民黨軍隊政工帶來了蓬勃朝氣，但由于他們占據政治部的大多職位，遂招來嫉恨。賀衷寒即曾說：“政治部過去因容納各黨各派參加工作，故異黨分子反有喧賓奪主之勢，計總部全部人員六百七十餘人，國民黨員僅一百四十八人，僅占四分之一弱。”這當然是國民黨不能容忍的，于是勒令政治部第三廳的共産黨人退出。此後，國民黨政勞工員的素質急劇下降。1939年2月，蔣介石在南嶽政工會議上批評第九戰區政勞工員平時教士兵奮鬥犧牲，但“到了自處前線，形勢緊急的時候，就膽怯心驚，甚至藏起身來!”6月，軍令部部長徐永昌也指責政勞工員“無愛國之中心思想，遑論工作效能”。當時甚至還發生過這樣的事：某部隊政勞工員，經常向所在部隊長官借錢，引起其無限厭惡與憎恨，而一旦“借錢到手，随意揮霍，甚者挾妓冶遊，酒食征逐。這類行為都足以引起所在部隊官兵之卑視”。其素質之低劣由此可見一斑。
第二，政勞工員與軍事主官的關系未理順。這一時期，國民黨政勞工員的地位雖有改善，與一些軍事将領的關系有所好轉，但仍潛藏着内在的緊張。因為軍隊政工自成系統，受上級政工機構直接上司和管理，與部隊長官無隸屬關系，“在階級方面，政治人員與部隊長官不相上下，在職權上确定政勞工員有參加指令通告意見、軍法會審、以及經費稽核特權”。而部隊長官往往有經商、走私、吃空額等腐敗行為，是以對政勞工員心存戒懼甚至仇視。但陳誠為了避嫌，一再限制政工。1939年2月7日，他要求政勞工員自省，“我們政勞工員對部隊長官相處的關系惡劣，自己至少要負一半責任”。12日，他重申“不可與部隊長官取對立的态度”。11月，陳誠又下令告誡政勞工員：“各級應接受同級主官，例如軍政治部主任應接受軍長之指揮與指導，不得有對之摩擦之行為”，“軍隊政治工作應以訓練官兵并為社會服務為唯一之工作，絕對不許用特務工作方式專事報告”。所言種種，無一不是對政勞工員加以限制。
這種觀念還普遍存在于國民黨軍方高層中。如徐永昌亦主張“軍隊政勞工員應重政治工作，不應重監視部隊，應加給部隊長以督饬政治工作之責”。于是在此情勢下，1939年的南嶽政工會議通過決議強調：一、各級政勞工員應與部隊主官一緻進退，并須有冒險犯難的勇敢精神，不得畏難苟安。二、應受同級部隊主官之指導。三、政勞工員對象應認識清楚，應以服務社會為目的，不可以專事報告部隊情形為務。四、同志間應有互切互磋親愛精誠之精神，不得攻讦。很明顯，這些規定主要是限制政勞工員。
針對政勞工員與軍事主官之間的沖突，蔣介石采取各打五十大闆的辦法，認為一方面由于帶兵官猜疑，另一方面由于政勞工員本身的缺點。是以他雖然要求部隊主官尊重政勞工員，但并未從制度上對政勞工員的地位給予保障。
在這種艱難處境下，部隊政訓工作的效果自然大打折扣。政勞工員在開展工作時，因地位關系，對士兵要求，隻能負責轉達而無直接解決之權，常因說話不能兌現而使士兵失望，而減失信仰。這就嚴重影響了其工作積極性，導緻政治工作滑坡。
面對這一狀況，蔣介石極為不滿。1940年3月，他電告陳誠：“現在政工效率實鮮成效，亦并無特殊表現，則其有若無，殊失設立政工之用意，非設法改良不可。”7月，他又在全國政工會議上嚴詞呵斥：“老實說我們的政治工作像現在這樣散漫廢弛的情形，如長此下去，不加改正，以緻對軍隊對官兵對社會群眾，甚至對于我們自己，都失掉了信用，那我們政治部，真是有不如無!”
1940年9月，蔣介石以張治中接替陳誠的政治部部長一職。張治中推行政工改制，撤各軍政治部，重新設立師政治部，恢複及充實連指導員。抗戰初期雖曾規定設立連指導員，但因大批幹部一時難以訓練完成，其實并未普遍成立。即使有的部隊曾派有連指導員，但集中在團部工作，亦未對士兵進行政治教育。而此次則明确要求“分期增設連指導員，以軍校出身或優秀之連附、排長選充之”。
這次政工改制的最大變化在于制度上合軍政為一體，規定各級政工主官由部隊副主官兼任或由政工主官兼任部隊副主官，具體做法是：師政治部主任由副師長兼任，或增設副師長一人，由師政治部主任兼任；團指導員由副團長兼任，或增設副團長一人，由團指導員兼任；連增設連附一人，由連指導員兼任。
1943年7月，蔣介石曾表彰：“在這一次鄂西會戰之中，我們軍隊政勞工員有許多都是與部隊出生入死，共同進退，到了危難的時候，且能指揮作戰，沖鋒陷陣，表現了不少英勇壯烈的事迹，這實在是革命軍中對抗戰前途最為樂觀的一件事。”他還表示：“此次我最覺愉快的一件事，就是一般政勞工員——尤其是低級政勞工員能夠在前線奮鬥自強，而且能代替部隊長指揮作戰，這種精神，可以說足使北伐時代政勞工員的效能已快恢複了，實在是近十年來所少見的事。”
但時隔不久，蔣介石又失望了。1943年12月，他便十分生氣地說：“抗戰以來我們軍隊的靈魂在那裡？核心是什麼？我們自問一下，可以說根本就沒有核心，亦沒有靈魂!”1945年3月，他在陸大甲級将官班開學典禮上又說：“我今天要告訴你們：我自從革命帶兵，二十年以來，從來沒有受過今天這樣的恥辱——現在一般外國人對于我們的軍隊……大多數都是冷眼旁觀，對于我們存着一種極端鄙視的心理!甚至于把我們中國的軍隊當作烏合之衆，比之于土匪和乞丐!”顯而易見，蔣介石對軍隊精神狀态非常不滿。這也說明政工改制并未達到其預期效果。
究其緣由，政工改制實行軍政交流，隻是借助擔任軍職來提升政勞工員的威信，但其職權并未擴大。在這種情況下，軍事主官在觀念上并未改變對政勞工員的輕視，政工改制也沒有根本改變政勞工員的處境。相反地，由政勞工員兼任部隊副主官，在部隊主官看來，有随時接替他的可能，更引起其戒備。與此同時，政勞工員的素質反而日趨下降。因為副師長兼任政治部主任，而副師長人選大多由師長推薦，以緻改制後，新任副師長兼政治部主任多以部隊中之軍屬或附員轉任政工幹部，其中才具足用能力勝任者固不乏人，而濫竽充數屍位素餐者亦在所難免。1944年，蔣介石便說：“現在部隊裡面的政治工作之是以缺乏效率，就是因為有許多政勞工員本身就不健全，威信不能樹立，以緻地位日益低落，士兵自然不願受他們的上司。”
時至1945年，張治中終于認識到政工改制的弊端。他說：“政工改制之本意，原為謀軍政之交流，促進新陳代謝之作用，以排除老大暮氣之缺點，但實施以來，因過去積習太深，不惟進階軍官多不願轉任政工，即軍校出身之初級軍官，亦視政工為毫無出路之工作而加以鄙棄。”他還感慨：“政工雖有二十年之曆史，但迄今制度尚未确立，政勞工員在部隊中亦無明确之地位……以緻從事政工愈久，則其個人之前途愈覺黯淡，而一般軍官，均視政工為畏途。”在這種情況下，普設連指導員這一目标自然無法完成。至于原先制定的各項政工計劃，“經過檢查結果，能夠完成的是很少，不能完成的則屬多數”。
對這次政工改制的挫折，張治中後來還回憶：“抗戰愈至末期，政工本身力量與客觀原因互相激蕩，沖突愈益加深，困難愈益擴大，以緻缺點畢露，功用盡失，是以到一九四四年夏又準備變更制度，撤銷團連指導員，改設軍中文化教育服務隊，政工的基層工作以教育和服務為重點。軍、師政工主官不限于以部隊副主官兼任，還可配用非軍官出身的人員充任。”這等于是宣告了政工改制的失敗，政勞工員的地位再次一落千丈。國民黨軍紀亦随之蕩然無存，敗壞到了極點。