1928年6月4日，张作霖乘坐火车被日本关东军预先埋好的炸药扎成重伤，随后不治身亡。张作霖去世后，东北的局势一时间很乱，张学良被紧急招回来继承他父亲的事业，当时跟随张作霖的一下老部下中有声望的人很多，年少资历浅的张学良如何能让大众信服呢？关键时刻，一个人站在了他这边，那就是东北军的二把手——张作相。
张作相祖籍直隶深县太古庄花盆村，后举家辗转来到东北。光绪七年（1881年2月9日）生于锦县南杂木林子，父母均为农民，家境较为殷实，父亲为泥瓦匠，此外还耕种几垧地，生活比较充裕。张作相小时候曾在附近的私塾读书，受过蒙学教育，但三年后父亲就让他弃学，跟他一起学习泥瓦匠手艺，赚钱谋生。
光绪二十年，即1894年，甲午战争爆发，这一年张作相刚刚13岁，他的家乡正处在战争中心，日本的侵略导致经济凋敝，民不聊生，张作相家的生计受到严重影响，导致年幼的张作相开始出外赚钱，养家糊口，他到他的叔父家帮忙，堂兄张作正与他的禀性相像，趣味相投。
光绪二十三年（1897年），清政府修从山海关到新民的铁路，张作相决定离开叔父家，去修筑铁路。而此时，与他相交甚好的堂兄张作正被人诬告，投入监狱，后来证明没有违法行为而被释放。但仇家并没有因此而罢休，在张作正从监狱返回家里的路上，被仇家郭玉所杀害，临死前，张作正对张作相说出的最后一句话就是要他为其报仇。
为了躲避仇家的迫害，张作相离家出走，1901年，张作相结束颠沛流离的生活，找到并杀了已经成为清军官兵的郭玉，之后返回家乡锦县，纠集数十人到郭家复仇，杀死几人后为了躲避官府追捕带领手下四处流浪，没有立脚之地，靠打家劫舍生存。这时候，张作相听说八角台的张作霖为人仗义，深得绿林的拥戴，于是带领手下投靠张作霖。
张作相投靠张作霖时，正值张作霖身处危境，附近的土匪项昭子正在进攻张作霖的八角台，张作相带领40多人坚守炮楼，成功掩护张作霖出城，为击毙项昭子立下汗马功劳。从此张作相越发受到张作霖的重用，并与张景惠、张作霖结拜为兄弟，张作相也成为了二当家。
1902年，张作霖这支土匪队伍被清廷收编后，张作霖被任为新民府游击马队管带，张作相为哨官。张作霖归顺清政府后，张作相摇身一变，也成为“官家人”，先后任清军游击马队哨官、管带等职，清宣统三年（1911年）从东三省讲武堂毕业。
清朝覆灭之后，袁世凯窃得辛亥革命果实，成为中华民国大总统，张作霖在东北也服从中华民国管理，地位不断攀升，张作相也扶摇直上。1916年，张作霖任奉天督军兼省长，张作相被任命为二十七师步兵旅长。1918年段祺瑞任命张作霖为东三省巡阅使，张作相任巡阅使署总参谋长、参议，兼任二十七师师长和卫队旅旅长。
张作相为人忠厚，是张作霖最为信任的干将和兄弟，但张作相并不因此而自命不凡、咄咄逼人，而是十分的厚道和谦让，从对郭松龄的倒戈事件的处理上就可看出张作相的为人。当时张作霖主张把参加倒戈的将领全部枪决，以免除后患。同时也是对其他军队将领的一种警示，避免日后类似事情发生。但张作相坚持建议宽大处理，给这些将领和士兵一次机会，不再追究此事的责任，还不惜用自己身家性命换取对郭松龄部下的赦免。张作霖接受了张作相的建议，赦免了郭松龄部下，避免了一次血腥的屠杀，为奉军保存了实力。
1928年6月4日，张作霖在沈阳皇姑屯被日军炸死，奉系军阀内部大多数人主张由张作相接替主政奉系，但他再次拒绝，力主由少帅张学良接替，之后凭借自己的威信和地位，团结奉系内部成员，一心辅佐少帅，任东北边防军副司令长官，东北政务委员会委员，吉林省政府主席等职，由于辅佐张学良有功，因此，人们又称其为辅帅。
抗战前夕，张作相因不满南京政府与日本签订《何梅协定》，愤然辞职，退出军政界。此后，他一直在天津英国租界隐居。隐居期间，日伪当局一直想利用张作相的声望出面组建伪政权，但均遭到张作相的严词拒绝。蒋介石方面也多次请张作相出山，在抗战后出来在东北任职，也遭到拒绝。
随着局势的紧张，张作相安排自己的儿子张廷枢去驻守长城与日军作战，而且还悄悄让儿子加入了红军，在中共的领导下，张廷枢参与了八路军第一支游击队的组建，并被任命为八路军第一游击纵队司令员。在抗日战争中，张廷枢带领军队浴血奋战，有很多骄人的战绩。
可以说，张作相在国共两面都收到相当的礼遇，他的民族气节更是时人的表率，也是后人学习的榜样。锦州解放后，张作相被解放军误俘，得知身份后，受到解放军礼遇，派人用汽车由热河草道护送回到天津寓所。1949年3月，张作相患脑溢血忽然去世。