1928年6月4日，張作霖乘坐火車被日本關東軍預先埋好的炸藥紮成重傷，随後不治身亡。張作霖去世後，東北的局勢一時間很亂，張學良被緊急招回來繼承他父親的事業，當時跟随張作霖的一下老部下中有聲望的人很多，年少資曆淺的張學良如何能讓大衆信服呢？關鍵時刻，一個人站在了他這邊，那就是東北軍的二把手——張作相。
張作相祖籍直隸深縣太古莊花盆村，後舉家輾轉來到東北。光緒七年（1881年2月9日）生于錦縣南雜木林子，父母均為農民，家境較為殷實，父親為泥瓦匠，此外還耕種幾垧地，生活比較充裕。張作相小時候曾在附近的私塾讀書，受過蒙學教育，但三年後父親就讓他棄學，跟他一起學習泥瓦匠手藝，賺錢謀生。
光緒二十年，即1894年，甲午戰争爆發，這一年張作相剛剛13歲，他的家鄉正處在戰争中心，日本的侵略導緻經濟凋敝，民不聊生，張作相家的生計受到嚴重影響，導緻年幼的張作相開始出外賺錢，養家糊口，他到他的叔父家幫忙，堂兄張作正與他的禀性相像，趣味相投。
光緒二十三年（1897年），清政府修從山海關到新民的鐵路，張作相決定離開叔父家，去修築鐵路。而此時，與他相交甚好的堂兄張作正被人誣告，投入監獄，後來證明沒有違法行為而被釋放。但仇家并沒有是以而罷休，在張作正從監獄傳回家裡的路上，被仇家郭玉所殺害，臨死前，張作正對張作相說出的最後一句話就是要他為其報仇。
為了躲避仇家的迫害，張作相離家出走，1901年，張作相結束颠沛流離的生活，找到并殺了已經成為清軍官兵的郭玉，之後傳回家鄉錦縣，糾集數十人到郭家複仇，殺死幾人後為了躲避官府追捕帶領手下四處流浪，沒有立腳之地，靠打家劫舍生存。這時候，張作相聽說八角台的張作霖為人仗義，深得綠林的擁戴，于是帶領手下投靠張作霖。
張作相投靠張作霖時，正值張作霖身處危境，附近的土匪項昭子正在進攻張作霖的八角台，張作相帶領40多人堅守炮樓，成功掩護張作霖出城，為擊斃項昭子立下汗馬功勞。從此張作相越發受到張作霖的重用，并與張景惠、張作霖結拜為兄弟，張作相也成為了二當家。
1902年，張作霖這支土匪隊伍被清廷收編後，張作霖被任為新民府遊擊馬隊管帶，張作相為哨官。張作霖歸順清政府後，張作相搖身一變，也成為“官家人”，先後任清軍遊擊馬隊哨官、管帶等職，清宣統三年（1911年）從東三省講武堂畢業。
清朝覆滅之後，袁世凱竊得辛亥革命果實，成為中華民國大總統，張作霖在東北也服從中華民國管理，地位不斷攀升，張作相也扶搖直上。1916年，張作霖任奉天督軍兼省長，張作相被任命為二十七師步兵旅長。1918年段祺瑞任命張作霖為東三省巡閱使，張作相任巡閱使署總參謀長、參議，兼任二十七師師長和衛隊旅旅長。
張作相為人忠厚，是張作霖最為信任的幹将和兄弟，但張作相并不是以而自命不凡、咄咄逼人，而是十分的厚道和謙讓，從對郭松齡的倒戈事件的處理上就可看出張作相的為人。當時張作霖主張把參加倒戈的将領全部槍決，以免除後患。同時也是對其他軍隊将領的一種警示，避免日後類似事情發生。但張作相堅持建議寬大處理，給這些将領和士兵一次機會，不再追究此事的責任，還不惜用自己身家性命換取對郭松齡部下的赦免。張作霖接受了張作相的建議，赦免了郭松齡部下，避免了一次血腥的屠殺，為奉軍儲存了實力。
1928年6月4日，張作霖在沈陽皇姑屯被日軍炸死，奉系軍閥内部大多數人主張由張作相接替主政奉系，但他再次拒絕，力主由少帥張學良接替，之後憑借自己的威信和地位，團結奉系内部成員，一心輔佐少帥，任東北邊防軍副司令長官，東北政務委員會委員，吉林省政府主席等職，由于輔佐張學良有功，是以，人們又稱其為輔帥。
抗戰前夕，張作相因不滿南京政府與日本簽訂《何梅協定》，憤然辭職，退出軍政界。此後，他一直在天津英國租界隐居。隐居期間，日僞當局一直想利用張作相的聲望出面組建僞政權，但均遭到張作相的嚴詞拒絕。蔣介石方面也多次請張作相出山，在抗戰後出來在東北任職，也遭到拒絕。
随着局勢的緊張，張作相安排自己的兒子張廷樞去駐守長城與日軍作戰，而且還悄悄讓兒子加入了紅軍，在中共的上司下，張廷樞參與了八路軍第一支遊擊隊的組建，并被任命為八路軍第一遊擊縱隊司令員。在抗日戰争中，張廷樞帶領軍隊浴血奮戰，有很多驕人的戰績。
可以說，張作相在國共兩面都收到相當的禮遇，他的民族氣節更是時人的表率，也是後人學習的榜樣。錦州解放後，張作相被解放軍誤俘，得知身份後，受到解放軍禮遇，派人用汽車由熱河草道護送回到天津寓所。1949年3月，張作相患腦溢血忽然去世。