1940年5月7日，張自忠率部參加棗宜會戰，帶着總部手槍營和74師的兩個團，從宜城東渡襄河，給敵人以極大威脅後。立即遭到日軍主力的反撲。經過七、八天的苦戰，部隊減員甚重，糧彈兩缺。
5月16日，張自忠和剩下的人被日軍困在南瓜店的杏兒山。從早晨到中午，他奮勇督戰，不肯退避。在戰鬥中，肩部中彈，仍指揮若定。
張自忠是位善于用兵的将軍，他愛兵，但從不溺愛，放縱，他深受中國傳統文化的影響，對《孫子兵法》等中國古代将官的用兵之道頗有研究。他對總屬要求很嚴，将“愛”寄于“嚴”之中。1932年，他在和順縣麻衣山組織軍事夏令集訓幹部時，冬訓三九，夏練三伏，嚴厲得甚至使人受不了。但經過兩個寒暑的訓練，他在太行山練就出了一支抗日勁旅。1938年，他在組織漢水防線，保衛宜昌、沙市，駐節荊門時，由于軍紀肅然，群眾刻碑于龍泉書院陸九淵祠旁，以志紀念，在用兵上，他舍得下本錢，不怕犧牲部屬。他認為當兵扛槍，本身就是一種與魔鬼與死神打交道的職業，本身就意味着犧牲。還在他在北平忍辱負重的期滿，回到原59軍時，在59軍舉行的歡迎他歸來的大會上，張自忠慷慨激昂地說：“這次回來，我不是帶弟兄們去發财，而是率弟兄們去死！
他覺得，一個軍人，死在了抗日戰場上，哪怕馬革裹屍，其骨也留香。渡河以來，他率領的兩團一營在日軍的夾擊下，死傷慘重。他每聽到一個犧牲軍官的名字，就俯首向他默哀片刻。然後擡起頭來，少不得咬牙切齒地罵一句什麼……
手槍營不多的隊伍正在山沖内向南布防，敵人已經占領大部分陣地，而且正向總司令部逼近。手槍營長許文慶趕到工兵營長跟前：“打，敵人沖上來了！”
工兵營傷亡很大，敵人足有三四個中隊集體沖鋒，機槍和炮火交織着，打得工兵營擡不起頭來。許文慶一看工兵營有些動搖的模樣，忙着：“趙營長，你要好好頂着，總司令就在後面。“
趙營長扭頭說：“您放心……”話未說完，就中彈陣亡了。
敵人沖上來了，工兵營傷亡殆盡，許文慶參謀主任隻好帶着一個衛兵向西撤退……
16日上午，日軍沖上杏兒山。張自忠身邊的将士已不足200人，他們猶在苦戰。
當警衛連張連長陣亡的消息傳進張自忠耳朵裡時，他愣了下大聲道：“馬孝堂，把隊伍組織一下！”
少校副官馬孝堂從戰壕中躍上來：“總司令，您必須現在走，離開戰場，這裡有我們！”
“你要我當逃兵？”張自忠氣憤道地，“我沒看見沒有骨氣的軍人！”
蝗蟲一般密集的日軍已經攻到了他們的最後一道防線。為了拔掉這根刺，日軍是下足了本錢的，以3萬之衆對付不滿3000人的隊伍。
“總司令，”少尉警衛員賈玉彬沖過來，雙手架住張自忠左胳膊，扭頭大呼另一個衛士，“谷瑞雪，把總司令拉下去，拉下去！”
“打敵人去，抓住我幹什麼！”張自忠咆哮着。
然而在緊急情況下，衛士們有權力使用強制手段使他們的首長轉移到安全地段。
“你們是怕死鬼！我不走！”張自忠與衛士們在戰壕裡互相拉扯着。
“總司令！”
張自忠循聲去，是手槍營的王連長趕來了。
“王連長，你還有多少兵力？”
“總司令，我還有十幾條血性好漢！”
“你跑到這裡幹什麼，快去打敵人，為張連長報仇去！”
“總司令，我是趕來勸你馬上離開，馬上走！”王連長跪在張自忠面前，“請總司令先走一步，我們不打退當面之敵，死在這裡也不下火線！”
“王連長，你……你……”
“快，你們把總司令拖下去，快快快！”王連長說完揮槍向敵人沖過去。
望着王連長指揮部隊沖向敵群，張自忠哈哈大笑：“好樣的，不愧是我的部下！”
“哒哒……”一陣日軍機槍子彈掃過來，掩蓋住張自忠的聲音。
“馬副官受傷啦！”有人大聲喊。
兩發機槍子彈中了馬孝堂的腿部，馬孝堂栽倒在地站不起來。張自忠大聲吼：“賈玉彬、崔永祥，快把馬副官送走！”兩個衛士奔到馬副官跟前架着他就走，馬孝堂推開他們：“别管我，快把總司令救走。”
而這時，有小股日軍已經沖到他們面前不足30米處，三八大蓋上的刺刀閃着攝人的寒光。
“哒哒……”日軍重機槍掃射過來，馬孝堂和兩個衛士同時中彈陣亡。那小股日軍好像發現了張自忠這個大官，嗷嗷地叫着向他沖上來，而張自忠身邊就隻剩下幾個衛士。就在這緊急時刻，王連長帶着一隊人沖了過來，一場刺刀對刺刀的肉搏戰下來，終于将那小股日軍殲滅。
日軍在張自忠的最後一道防線面前倒下了成百上千具屍體，他們的攻勢更猛更兇了，炮彈傾注在前面的中國軍隊陣地上，如同滾雷般的炮聲在顫動，塵土攪拌着硝煙在陣地上空彌漫，中午在太陽都變成了昏黃色，整個山頭全部籠罩在鐵血火海之中。
這時，張自忠從高地上走過來了，幾個衛士想靠近他，他堅決不同意。衛士谷瑞雪指着他鮮血滲透的呢子制服說：“總司令，你左肩的傷口又溢血啦！”
大家向總司令圍過來。
張自忠大聲問：“參謀處有人嗎？”
“有！”中校參謀長李憲漠跑過來回答。張自忠一手按住傷口望了望李憲漠說：“你一個人怕不行吧。程參謀，你倆分在兩邊各架一隻胳膊，吳處長也要忍點痛。你們往東北方向翻過長山走吧，快！再不走就沒有機會了。”
“總司令走，快把總司令架走！”吳光遼處長大聲道。
在這生死關頭張自忠不顧個人安危，還對其部下如此關心體貼，在場的官兵都流下了熱淚，隻得一步兩回頭地架着吳光遼處長離去。李憲漠中校這時掃了眼手表，正是中午12點整。（戰後李中校著有《臨危不懼》一文悼念張自忠将軍。）
張自忠目送走吳光遼走後，四周槍炮聲大作。在互相厮殺聲中，中國軍隊的最後一道防線被日軍突破。總部官兵隻好向東北長山方向撤退。步槍和手榴彈的爆炸聲響成一片。日軍大炮開始伸延火力了，顯然是步兵攻到目标了。總部官兵幾乎無一人幸存了。這時張自忠身邊隻有衛士谷瑞雪了。谷瑞雪拖住張自忠一隻胳膊：“總司令，官兵死亡殆盡了，敵人馬上沖過來了，快走！”
“不能走，拼了！”
“總司令，快下這條溝，快！”谷瑞雪拉住他未負傷的右胳膊。
“不，我不能當逃兵！”他的話聲剛落，一發重機槍子彈擊中了他的左胸部，子彈從背後又飛出來。
“總司令！”谷瑞雪抱住張自忠大哭。
張自忠摸着衛士的頭笑了：“你這小子，哭什麼，戰死沙場是軍人的本分。我覺得這樣做對國家、對人民、對長官都問心無愧。”
“哒哒……”又一串日軍的重機槍掃射過來，“啊……”張自忠發出一聲低吼，谷瑞雪擡頭一看，總司令左眉梢上部和太陽穴各中一發機槍子彈……
張自忠将軍為國殉職了，谷瑞雪放下将軍的遺體，他哭着将軍大衣蓋在将軍的身上。日軍像瘋狗一樣撲上來了，他一抹眼淚向蜂擁的敵人打響了手中的那支20響槍……
與張總司令同時遇難的還有團長洪進田，李世昌，衛士，手槍隊官兵300餘人……
張自忠将軍殉難的這一天，是1940年5月16日，張自忠的死，在全國引起了強烈的震動，極大地鼓舞了全體将士的士氣和複仇的決心。他們高唱着《複仇歌》：“海有枯，石有爛，死也忘不了南瓜店，”，殺向敵人。
32集團軍的士兵手冊上寫道：“是誰殺了總司令？此仇不報不見人！”
就連日本侵略軍，也十分敬仰，十分敬佩他的氣節與勇敢。
當日軍在血淋淋的戰場上發現張自忠将軍的遺體後，對昔日沙場上這位硬邦邦的拼殺對手肅然起敬。他們把張将軍的遺體搬運到30裡外的陳家祠堂南邊，又用陳家集上一位叫魏華山的木匠的棺材入殓。并且在棺材的背面寫上“張自忠将軍之靈”一行字。可見，戰場上的英雄，不僅自己人愛，人民愛，連敵人也敬重。