1927年4月，日本首相田中義一上台後，強行向張作霖索要中國東北的鐵路權，這件事直接引起了東北人民反日的熱潮。在9月4日那天，沈陽近兩萬名群衆進行反日的示威遊行，在這股熱潮中，張作霖也遲遲未答應日軍的條件，日本内閣對此十分的不滿，更是懷疑東北人民反日遊行就因為張作霖煽動導緻。
正好此時蔣介石為了擴大自己的地盤決定對張作霖進行第二次的北伐，張作霖眼看着自己大勢已去便決定退出北京回到東北。而日本也早已為張作霖下了最後的通牒，不僅要其解決滿蒙諸懸案還向他提出了10項條款，對此張作霖依舊嚴辭拒絕，就這樣日軍内部便開始開始密謀在張作霖回東北的路上坐下手腳。
5月17日日本使者芳澤前來會見張作霖，二人會談了整整三個小時，此時的日軍仍在威逼利誘想要一次迫使張作霖答應條件，但張作霖早已對日軍的逼迫行為感到強烈的不滿，這一次的會談張作霖不僅口頭上拒絕了芳澤的勸告，還向日軍發表了書面聲明。
日軍見張作霖仍不願妥協繼續為他施加壓力，張作霖依舊不願理會，在内外條件的壓迫下決定退回東北。而此時的日軍的參謀早已在距沈陽隻有一公裡半的皇姑屯火車站附近放置了30袋炸藥以及一支沖鋒隊。其實在張作霖臨行前曾收到屬下的密報，為此他再三的變更啟程時間為的就是迷惑他人，但最終卻沒有任何效果。
1928年6月3日晚上6時，張作霖從北京的元帥府啟程前往東北，他所乘坐的專車，曾是慈禧太後用過的"花車"其裝飾十分的奢華，在專車前面為了保證張作霖的安全還有一輛作為前衛的壓道車。不過就是如此周密的防護依舊沒能保住張作霖的性命。
6月4日的清晨，這一天日本駐奉天總領事林久治郎早早的就起床在屋頂用望遠鏡瞭望着三洞橋。在将近5:30的時候張作霖所乘坐的專車在瀕臨三洞橋的時候，在遠處觀看的日本關東軍大尉直接摁下按鈕，隻聽見一聲巨響。張作霖所乘坐的專車車廂被炸的隻剩下一個底盤，車廂内的人受到了不同程度的創傷。
張作霖也因爆炸被炸飛三丈之遠，咽喉破裂最終不治身亡。這個計劃其實是日軍參謀河本大作謀劃，在張作霖死前他并沒有将消息通報上級，他認為張作霖死後東北軍将陷入一片混亂，而日軍也能趁此機會奪取東北，可事實卻非他所想的那麼簡單，張作霖的逝世反而在張學良接手之後，整個東北軍昂揚鬥志随時等待剿滅日軍。
日本天皇本想靠着溫水煮青蛙的戰術吞滅東北，如今炸死張作霖直接等于撕破了臉，而日本數十年的努力也因為張作霖的死毀于一旦。在得知張作霖死亡的日本天皇怒火中燒，雖然關于這件事情的策劃日本高層無一人事先知曉，但是整個日本軍隊卻都因為這件事情受到了牽連，日本陸軍統領白川義則在天皇的壓迫下被迫辭職，首相田中義一也在天皇的逼迫中下台，最終因為這件事郁郁而終，而這件事的主謀河本大作則是在日軍衆多高層人物的掩護下已解職了事。