我們都知道在西安事變後，張學良也在1938年11月開始被蔣介石軟禁，一直到1990年才恢複自由。張學良被軟禁了這麼多年相安無事，除了張四小姐的功勞，還有一個人的功勞也非常大，他就是霍守義。
自從霍守義加入了張學良的東北軍，深受張學良的信任。可以說張學良對霍守義有知遇之恩。在他得知張學良被蔣介石軟禁後，霍守義曾多次想去營救張學良，不過苦于張學良在蔣介石手中怕其有生命危險，是以一直按兵不動。
有一次，經過蔣介石特别準許的六名東北軍進階将領在溪口見到了張學良。東北軍都擔心少帥的安危，然而少帥卻說：“放心，隻要有你們在，那蔣介石就不敢輕易動我。”因為少帥牢牢掌握着東北軍，是以蔣介石也隻是軟禁張學良，并不敢怎麼樣。
探視回去之後，霍守義在接受蔣介石傳召的時候，不卑不亢地表示：“張學良是自己的首長，軟禁期間你敢動他，我就帶部隊滅了你！”這正是給蔣介石一個警告和威脅，也是他對張學良指令的遵從與忠心。