解放戰争進行到1947年夏季的時候，我軍逐漸開始由戰略防禦轉入戰略進攻。為了适應新的作戰需求，當年7月末，陳赓率領的第4縱隊與秦基偉的9縱和起義部隊38軍外加太嶽軍區第22旅一起合編為陳謝兵團，下轄8個旅，總兵力8萬餘人。陳赓為兵團司令兼前委書記，謝富治為政委。
當時查玉升在陳謝兵團中擔任第22旅的旅長。他是安徽六安人，很小的時候父母就因病去世了。幼小的查玉升以讨飯為生，年紀稍長後開始給地主家打短工，吃了不少苦。1931年，17歲的查玉升加入了紅軍隊伍，跟随部隊在鄂豫皖根據地和川陝蘇區與敵人作戰，立下許多戰功。
抗日戰争全面爆發後，他進入八路軍129師任職，在陳赓手下當連長。386旅渡過黃河後在一個村莊裡宿營，半夜的時候，一個漢奸偷偷溜出村子，向小鬼子告了密。很快日軍就出動重兵将村子包圍，危急時刻，查玉升親提機槍，帶頭沖鋒，将小鬼子的包圍圈撕開了一道口子，陳赓趁機率部沖出了重圍。
經過這次險情後，陳赓認為部隊要想安心打小鬼子，就必須先把那些為虎作伥的漢奸除掉，并把這個任務交給了查玉升。經過仔細的偵查和布置後，查玉升在夜深人靜的時候潛入城中，将那些罪大惡極的漢奸一一鏟除，使小鬼子失去了耳目。之後查玉升跟随陳赓參加了許多伏擊戰，累積戰功升任團長。
抗戰勝利後，查玉升又參加了解放戰争，繼續在陳赓的指揮下戰鬥。陳謝兵團成立後，他出任22旅的旅長，跟随主力參加了伏牛山東麓戰役和平漢線破襲戰，消滅敵軍數萬人，解放縣城30多座。1948年年初，陳謝兵團挺進中原，準備發起洛陽戰役。不料就在戰役即将發起前，時任22旅旅長的查玉升卻怒怼兵團政委謝富治：你這是瞎胡鬧！這是怎麼回事呢？
當時各大野戰軍中都補充了不少俘虜兵，為了提高部隊的戰鬥力，開展了新式整軍運動，主要内容是訴苦教育和三查三整。在陳謝兵團中，負責新式整軍運動的是政委謝富治。他和陳赓是老搭檔，在一起合作了多年。本來這次新式整軍運動按照上級的布置主要是搞訴苦教育和三查三整，但謝富治卻别出心裁，又增加了一個“貧雇農當家”。
這個“貧雇農當家”就是讓貧農和雇農出身的指戰員掌握部隊中的重要崗位，那些出身不好的幹部則受到排擠，有的被降級，有的被撤職。與此同時，謝富治還把一些貧雇農出身的戰士組織起來，成立了一個搜查隊，對各級幹部的行李進行搜查，美其名曰“分浮财”。
查玉升手下有一個團長，是富農出身，結果在“貧雇農當家”中受到沖擊，職務被撤銷，成了普通戰士。查玉升對此十分不滿，更無法了解，于是親自找到謝富治理論，并斥責他是瞎胡鬧。查玉升很小的時候就成了孤兒，家境比謝富治還貧困，參加革命後作戰英勇，屢立戰功。謝富治見他不支援自己的“貧雇農當家”，很生氣，但卻拿他沒有辦法。
謝富治在部隊中搞“貧雇農當家”是背着陳赓進行的，當時陳赓不僅是兵團司令，還是前委書記。按照常理來說，謝富治在新式整軍運動中加入“貧雇農當家”是一個大事，理應和陳赓打招呼，并通過召開前委會來研究決定。但謝富治不僅沒有通知陳赓，還指使搜查隊沖進陳赓的住處“分浮财”。
搜查隊有顧慮，并沒有馬上行動，謝富治說：“凡是出身不好的幹部都要搜查，司令員也不能例外！”于是搜查隊就沖進了陳赓的住處，二話不說就開始東翻西找。當時解放軍的條件還比較艱苦，陳赓在兵團指揮所搭了一個行軍床，既能辦公又可以休息。這裡面有不少機密檔案，搜查隊沖進來一通亂翻，部隊的作戰計劃随時都有可能洩露。
陳赓對此十分生氣，當即闆起臉來把這些搜查隊訓斥了一頓，并問他們是奉了誰的指令這麼幹，一問之下才知道是謝富治搞的鬼。陳赓當即找到他，質問這麼大的事情為何不通過前委會表決，并斥責他是要把部隊搞亂。謝富治認為這是自己職權範圍内的事情，是以拒絕整改，還稱要繼續推行“貧雇農當家”，并把不是貧雇農出身的支部書記王步青給罷免了。
謝富治此舉等于人為地在部隊中制造對立，一時間搞得人心惶惶，對部隊備戰洛陽戰役帶來了極為不利的影響。陳赓見謝富治不聽勸，很快将此事向上級做了彙報。不久後上級回電，明确要求取消“貧雇農當家”的做法，謝富治這才偃旗息鼓。陳赓随即做了補救措施，将那些之前被排擠的幹部調回到了原來的位置上，并對他們進行了安慰，這才穩定了軍心。
不久後洛陽戰役打響，陳赓和陳士榘聯手，僅用6天時間就攻克洛陽并活捉了邱行湘，這也是解放軍挺進中原以來第一次攻克國軍堅固設防的中等城市，為之後的城市攻堅戰積累了寶貴的經驗。查玉升在這次戰役中表現非常出色，後來升任41師師長。新中國成立後，他又參加了抗美援朝戰争和對越自衛反擊戰，1955年被授予少将軍銜。