同日本的關系一直是張作霖飽受争議的重要原因之一，關于他親日還是仇日均有曆史事例可以證明，而這也正是他本人複雜個性與糾結内心的真實寫照
“在東北，以張作霖為首的奉系軍閥逐漸在吉林、黑龍江兩省擴充地盤，它在日本帝國主義的扶植下，成為直皖之間舉足輕重的勢力。”
這是人民教育出版社的曆史教科書《中國近代現代史》上冊第四章第二節《軍閥割據下的中國政局》中對張作霖的評價——反動軍閥、封建軍閥也是長久以來貼在張作霖身上的标簽。
事實上，被日本扶植成為“東北王”，又在皇姑屯被關東軍炸死，這些與日本錯綜難明、糾葛不清的恩怨，正是張作霖一直飽受争議的原因之一，也是長久以來學界、民間争論不休的焦點——痛斥其賣國的有，為其辯護的也不少；有人認為他是日帝的傀儡，也有人認為他是不乏民族氣節的野心家。
騎在牆頭，哪邊強就往哪邊倒
1980年出版的《張作霖》一書在當時被認為是第一本“較為系統、詳細的張作霖傳記”，而在這本書的《前言》中，作者東北師範大學的常城教授如此描述自己記述張作霖一生的目的：
“使人們特别是青年同志們具體了解舊中國軍閥黑暗統治的一個側面。”
書中記錄了1912年1月，當時是奉天巡訪營前路統領的張作霖通路日本駐奉總領事落合的情景。在會面時，張作霖表達了與日本合作的願望，他對落合說：“我深知日本在滿洲有許多特權，日本如果對我有所吩咐，我一定盡力而為。”
而在自己的一篇名為《張作霖是怎樣在東北稱王稱霸》的論文中，常城表示
“騎在牆頭看哪邊強就往哪邊倒”
是張作霖壯大自己的一貫政策。如此做派在知名曆史部落客薩沙的《民國最成功的馬匪張作霖》一文中也有記錄：袁世凱稱帝時，張作霖表示擁護，袁世凱很高興，對其加官晉爵，張作霖掌管了遼甯省，實際上成了東北一方的諸侯。在奉系崛起初期，沒有讀過書的張作霖常常自比李淵，為給“張家王朝創基業”，他還讓張學良讀《貞觀政要》，學學李世民。
關于張作霖與日本合作，薩沙也透露了這樣的細節：張作霖在各種場合表達親日立場，多次鎮壓東北的抗日運動，在經濟上也有諸多妥協。作為回報，日本在1916年通過北韓銀行奉天支行貸款給張作霖300萬。在第一次直奉戰争中，張作霖在沈陽窮途末路，隻剩1萬多人，甚至已經考慮放棄東北逃亡。日軍偷偷出兵助攻，派了1萬人防禦沈陽，又派遣一個師團突擊正全力攻擊沈陽的郭松齡軍團的後路，而這也直接促使張作霖日後與日本簽訂了《日張密約》。
“對張作霖這樣的反動軍閥，既不能稱之為豪傑之士，也不能看作反日的英雄。他的一生，是反動的一生，禍國殃民的一生。”
在《張作霖》一書中，常城如此總結道，在張作霖于皇姑屯被日軍炸死一節中，常城在書裡用“可卑的下場”作為标題總結，認為他是失去了利用價值被日本抛棄。
不甘心當漢奸出賣東北
對于張作霖與日本的暧昧關系，常城的言辭代表了一派觀點，也引起了學界的相關争論，許多學者對這種觀點并不認同。
曆史學者丁雍年于1982年5月在《求是學刊》上發表了一篇名為《對張作霖的評價亦應實事求是》的文章，文中補充了一些張作霖對日交涉的細節，證明張作霖
“是不甘心當漢奸出賣東北的”
——1927年10月15日，日本逼張作霖簽訂關于五條鐵路的密約，張作霖僅僅批了個“閱”字敷衍了事。在利用日本掌握東北後，張作霖對日本也一直采取陽奉陰違的态度，這讓日本方面很不高興。日本參謀部中國部部長松井石根曾背地裡議論他：
“這個家夥難弄得很，始終不聽話。”
“一直對日軍保有一種土匪式憤恨”
——這是薩沙對于張作霖内心同日本真實态度的描述，如此結論來自于張作霖當時同日本的一次針鋒相對——與日軍同盟時，張作霖的軍營駐紮在距沈陽100多公裡外的新民府。他手下的兵在逛沈陽的日本妓院時與日本兵鬥毆，寡不敵衆被打死了兩人。張作霖大怒，找到日本方面要求殺人償命。日本軍官依照慣例，一人賠償了500兩銀子。張作霖拿了1000兩銀子回去後，召集手下上街打死三名日本兵。他的士兵都是剛被收編的土匪，當即沖上街頭，找了三個日本兵毆打緻死。當日本軍官怒氣沖沖地前來質問時，張作霖甩出1500兩銀子說，這是“按照你們的慣例”。
如此的針鋒相對并非僅此一次——在當時的東北，日本控制了兩個港口和南滿鐵路，在沿線全部駐紮軍隊。為了削減日軍勢力，張作霖造了一條與南滿鐵路幾乎平行的新鐵路線。這讓日本極其惱火，在1927年的“東方會議”上，要求他立刻停止修建這條鐵路。張作霖不便公然唱反調，于是煽動群眾在沈陽長春搞反日運動，日本人精力分散，對鐵路修建的幹涉也不了了之。
魯東大學教師戴振毅在《中國近代史及史料研究》雜志上發表的《試論張作霖與日本人的關系》一文也有類似的事件描述——張作霖不僅在日本的東北駐軍軍營周圍駐紮了自己的重兵，還要保證數量的絕對優勢，日本駐軍1000人，他就放兵10000人。在被迫同意日本僑民在東北的居住權後，張作霖還用同樣方式來制約日本移民的數量。他從山東召來大量人口移民東北，日本人移民1人，他就從山東補進5人。他還暗地禁止中國居民出租房子給日本人，移居東北的日本僑民沒有房子住，隻能一大堆人擠在一間小房子裡。日本原計劃在10年内讓日本人成為東北居民的多數，但在張作霖的阻撓下，始終未能實作。
土匪無賴式的敷衍，這是張作霖在面對日本方面的壓力時最常采用的行為模式。根據台灣中央研究院學者梁敬錞描述：
“日本對張作霖，怨悅交并。張作霖對于日本，雖甚富友誼，然日本欲其出賣國家，則非張作霖所能忍受。”
戴振毅在《試論張作霖與日本人的關系》一文中記錄的另一件事也足以說明這一點——日本派公使芳澤與張作霖商談“解決蒙滿諸懸案”問題，在交談中張作霖頻頻推脫裝糊塗，芳澤恫吓說濟南死了13個日本僑民，張作霖需要對此負一切責任。根據周大侖《張作霖皇姑屯被炸事件親曆記》中回憶，張作霖當時“勃然大怒，立即由座上站起來，把手裡的翡翠嘴旱煙袋猛力地向下一摔，磕成兩段，聲色俱厲地對芳澤說：‘此事一無報告，二未調查，他媽拉巴子的，豈有此理！我這個臭皮囊不要了，也不能做這種叫我子子孫孫們擡不起頭來的事情。’”
怒罵日本公使後的第16天，1928年6月4日淩晨5點30分，張作霖被關東軍炸死在皇姑屯。
兩個張作霖
張作霖死後，當時的輿論大多表達出了對他的諒解和同情。
天津《大公報》1933年3月13日刊登社論稱：
“張作霖雄踞關東手創霸業者十五年，親日賣國，叢謗一身。然終張之世，雖與日人曲盡周旋，于國土之權，則保持匪懈，故率攫日人之怒。皇姑屯一彈，身雖慘死，心迹則大白于天下。”
北京《晨報》也于1933年1月23日刊文稱其“殉國難于皇姑屯，秘幕為國人所知，因而取得諒解。”
曆史學家陳崇橋也在《關于張作霖的評價問題》中頗為體諒地如此描述張作霖：
“遇事與日本周旋，勢所必然。努力支撐危局，确有其難處，不能把他與日本的某些周旋，統統視為媚日賣國。”
相比較學界各方的據“例”力争，普通群眾對于張作霖的認識則多來源于影視文學作品。于是，他們也大多會看到兩個張作霖：一個是帶有土匪特質見風使舵、時時準備實作利益最大化，大老粗式的軍閥統帥，另一個則會在逢年過節時穿上長衫去學校向老師打躬作揖，還會親手槍斃拿路燈當靶子的無賴小舅子，并給日本人手書“手黑”表示“寸土不讓”，而他對東北經濟教育的大量投入至今仍令東北群眾津津樂道。
張作霖到底是一個什麼樣的人？對于這個複雜的問題，英國學者加文·麥柯馬克在《張作霖在東北》一書的說法或許可以作為答案之一：
“張作霖比一個純粹的傀儡還多些什麼；但卻比一個民族主義者少些什麼”。