1941年，堅守四行倉庫的“八百壯士”已經被困于上海租界膠州公園附近的“孤軍營”三年多了。其間謝晉元帶領“八百壯士”依然堅守民族氣節，每天堅持出操，升旗，嘹亮的軍号鼓舞着上海孤島群眾的抗日信念。對于日僞來說，謝晉元的存在無疑是心頭大患，為了消滅這顆抗日的火種，日本人在多次高官厚祿利誘未逞的情況下，決定向謝晉元下黑手。
4月24日清晨5時，謝晉元按照慣例帶領官兵出早操。突遭日本人收買的叛徒郝精誠、張文清、尤耀亮、張國順四人的毒手，被郝精誠手持三棱刺刀對着胸口連刺兩下，當即倒地。在謝晉元倒地之後，其餘三名幫兇見謝晉元并未當場死亡，又讓郝精誠對着謝晉元的太陽穴、喉嚨和心髒連捅三刀。淞滬會戰中殺出的民族英雄謝晉元就此慘死在了四名叛徒敗類手中，終年三十七歲。
孤軍營的全體官兵見謝晉元遭此毒手，在抱着遺體痛哭的同時，怒發沖冠向着四名叛徒沖過去要當場将他們打死。四名叛徒手持兇器和鐵鎬負隅頑抗，最終被持槍進入孤軍營的白俄警衛從官兵手下押走，逃過了被當場打死。不過後來這四名叛徒升官發财的美夢并沒能實作，都被租界法院判處了死刑，落了個暴屍荒野的可恥下場。
謝晉元遭叛徒刺死的消息一經傳出，孤軍營附近的租界群眾紛紛前來探問，當看到謝晉元慘狀後，所有人都痛哭不已，久久不願離去。
最終謝晉元的遺體由殡儀館的從業人員進行擦洗化裝并進行防腐處理後進行了入殓。謝晉元的棺木由單根的紅木制成，中間用玻璃軟蓋扣在上面友善人們瞻仰遺容。
謝晉元入殓當天，整個孤軍營附近馬路人山人海，車輛根本無法通行，人們自覺地排隊進入靈堂，向着謝晉元的遺體鞠躬後繞靈柩一周邊走邊瞻仰。根據當時報道，入殓當天前往吊唁瞻仰謝晉元的群眾就達十萬以上。孤軍營的官兵連排長輪流為謝晉元守靈，士兵們則負責營區的放哨和秩序維持，避免别有用心的日僞前來搗亂。
謝晉元在遺體在孤軍營内停放長達兩個多星期，但因當時戰争及交通條件的限制，謝晉元的家屬始終無法前往上海。此時遺體已經開始出現腐爛，經治喪委員會決定，即日召開追悼會進行安葬。
孤軍營内的禮堂被改做靈堂，門口紮着白色牌坊，靈柩停放于靈堂中央。上首挂着遺像，下面放着花圈，四周懸挂着政要送來的挽聯和被面。正中是國民政府主席林森的題詞“堅苦忠貞”，遺像兩邊是蔣介石的挽聯“堅苦矢成仁,終古光騰孤島血;英魂應不泯,從今怒吼浦江潮。”送來挽聯的還有何應欽、朱家骅、顧祝同、吳開先、吳紹澍等，層層疊疊地挂滿了整個靈堂。
在5月11日舉行的追悼會上，當主持人讓大家默哀三分鐘時。整個靈堂内外無不痛哭失聲，想到因不肯變節，而被戕殘害的謝晉元不由悲從中來。整個追悼會最後在一片痛哭聲中結束。整個謝晉元喪禮過程中，參與的群眾共計三十萬人。
追悼會後，謝晉元被安葬在孤軍營内他生前經常坐着看報曬太陽的樹叢之中。孤軍營内與謝晉元墳墓相對的是1940年9月18日，因抗議白俄警衛無故将孤軍營鎖門，不許軍民紀念九.一八而遭白俄衛兵米奇亞可夫開槍射殺的何玉湘烈士之墓。
孤軍營内謝晉元的墓四周用石闆圍成，上面以鋼筋混凝土澆蓋，呈蘑菇型，在墓頂部還畫有青天白日。在墓的外圍用青石欄杆圍了起來，柱子上還有四隻小石獅子。墓前樹立的墓碑上鑲嵌有一張烤瓷遺像，下書“追贈陸軍少将謝晉元将軍之墓”。墓碑所書出自著名書法家馬公愚手筆。不過可惜的是，謝晉元墓在十年動亂中遭紅衛兵搗毀，後于1983年經上海市政府準許遷往上海萬國公墓。