在抗戰時期，他還是八路軍129師386旅補充團的一名營長。
有一次夜裡，陳赓的部隊遭日軍偷襲。
當時，他們被日軍火力壓制在一處窪地，無法突圍，情況十分危機。
不知是上天有意，還是巧合。當他得知被困的是陳赓旅長之後，他立馬扛着輕機槍帶着隊伍就趕了過去，把敵人的火力給壓制住後，殺出一條血路，解了陳赓的圍。
對于他在臨戰狀态下勇猛不缺機智的表現，陳赓是十分欣賞的。是以不久，陳旅長就和許世友副旅長找他談話，決定讓他去擔任772團副團長，但上任之前有個條件，必須先擔任特務隊隊長，主要任務：一是除漢奸；二是搞軍需，以備過冬所需。
772團是八路軍的主力團，團長先是葉成煥，葉成煥犧牲後王才貴擔任。這個團的副團長更是有名，他是鼎鼎大名的戰将王近山。是以，讓他進入八路軍的主力團并擔任副團長，這點考驗是必須的。
之後，他便組織一幫各懷絕技的江湖好漢，組成的一支特務隊，神出鬼沒地出現在日軍占據的縣城，用了一個晚上時間就把維持會的漢奸狗腿子殺了個痛快，最讓人拍案叫絕的是他們在殺了漢奸之後，居然還在他們的屍首上放一張寫有隊長某某某的紙條。
這個某某某隊長的名字就叫查玉升。
查玉升是安徽六安人，1914年生。因家境貧寒，童年時給地主放過牛，要過飯，正因為貧困無助，紅軍鬧革命後，17歲就參加了紅四方面軍，成了紅軍的一名小戰士。也正因為他從小吃足苦頭，到紅軍隊伍中知道了紅軍是為窮人打江山的隊伍之後，在作戰時表現的勇猛無比，三年左右時間就從戰士到班長到排長到交通隊指導員。後來，參加了紅四方面軍的長征。
抗戰全面爆發後，查玉升先後任八路軍129師386旅722團連長，補充團營長，百團大戰時正式接任王近山成為722團副團長。
1940年11月24日，386旅第16團團長謝家慶在圍殲日軍的戰鬥中中彈犧牲。查玉升調任16團團長。
查玉升打仗有與王近山同樣的作風，他對上級安排的戰鬥，積極參戰；對上級未安排的戰鬥，他是主動請纓求戰。
解放戰争期間，查玉升任陳赓所部4縱22旅旅長。當時，按照中央指令要把他的22旅調到東北，但查旅長不願意，就以“黃河水漲無法傳回”為由，率部與中原地區的兄弟部隊打出了幾個漂亮仗，成為陳赓麾下的“四縱四虎”，讓陳赓司令員哭笑不得。
說到陳赓麾下的“四虎”，他們分别是為10旅的周希漢、11旅的李成芳、13旅的陳康和22旅的查玉升。但到了授軍銜時，除查玉升之外，其他“三虎”都授了中将，而隻有他授少将，雖然遺憾，但究其原因是後來在參加抗美援朝時的那一仗沒有打好。
1998年10月23日，年已84歲的查玉升将軍去世，當子女們在整理骨灰時竟發現有13塊彈片，在場人員對此無不感動和震驚，無不感歎查老将軍是一位有着鋼鐵般地意志的人，不然怎麼能讓這13塊彈片伴随他大半個人生？