1949年2月，在溪口的蒋介石召见黄埔军校校长关麟征，要他担任国民党军陆军总司令。会面结束后，关麟征到南京和参谋总长顾祝同洽谈后，便回成都军校办理交接手续。
关麟征是1947年就任中央陆军军官学校（黄埔军校）校长的，成为继蒋介石之后的第二任校长。对于这次就任陆军总司令，关麟征还是很满意的。很快，报纸上也刊登了关麟征将接任陆军总司令的消息，为他送行的各界饭局邀约纷至沓来。
饭吃了，东西收拾了，人也告别了，但等了十多天，关麟征一直没有收到正式的调任电文，这让关麟征感到无比尴尬。
百般考量之下，关麟征只得飞了一趟南京，亲自到国防部询问公文的下落。然而得到的回复却是：总裁的口谕找不见了。
手谕遗失？这怎么可能，关麟征清楚这其实就是蒋介石变卦了，一个借口罢了。当时代总统李宗仁，正在延揽各方人才，他将曾跟自己打过台儿庄战役的关麟征叫到南京。
李宗仁说：“想请雨东兄（关麟征字雨东）出任参谋总长。”在国民党军的体系中，参谋总长的实际权力要大于国防部长的，李宗仁抛出的这个职务，诱惑性极大。
关麟征很矛盾，既没有完全答应，也未表示反对，此事被蒋介石得知，托人给关麟征带话让他不要和李宗仁靠得太近，黄埔一期的关麟征只得答应。
关麟征说：“李代总统已经发布让张发奎就任陆军总司令。”
蒋介石安慰说：“向华只是过渡。”
这次会面让关麟征心灰意冷，虽然他当年是黄埔一期中第二个当集团军司令（第一个胡宗南），但此时在蒋的心中，已经远不如胡宗南、宋希濂等人受信任。
不久之后，张发奎辞去陆军总司令一职，关麟征终于接任，但此时南京已经解放，国民党大势已去，关麟征在新职位发布后，也并不去就职，而是有了找个地方避居的念头。
解放军进军大西南，蒋军嫡系主力由胡宗南、宋希濂指挥，但实际的总指挥是由在成都、重庆往返飞行，不断发号施令的蒋介石。在一次军事会议上，当关麟征听到蒋介石下令让胡宗南主力向大邑集中的时候，他大惊失色，因为当时天气不好，已经一连下了好多天大雨，大邑周围土路泥泞难以行走，加上胡宗南部重武器不少，这样行军是很难展开的，效率很低。后来关麟征评价他的校长蒋介石时，曾说：“蒋校长实在不大会打仗。”
1949年11月，在重庆和成都解放前夕，有一天，关麟征在成都遇见了自己的好朋友黄埔三期的刘宗宽，关麟征拜托刘宗宽去弄当时掌握在保密局手里的赴台的机票。刘宗宽找到有关系的保密局西南区区长徐远举把票弄到手后，关麟征就带着全家从成都飞到重庆，再从重庆经香港到台湾。
飞机经过香港临时停靠时，关麟征带着家人悄悄下了飞机，很快离开了机场，其实关麟征早就打定主意留在香港，只是如果当时就表示不去台湾，这个机票就搞不到了。
在香港，关麟征隐居起来，对外界的一切再也不感兴趣。此后他的生活可以用“解甲归田、隐居市井、闭门思过、不问外事、读书练字”这20个字来形容。
当时有许多国民党的各类人士流落在香港，像卫立煌、张发奎等人都在。关麟征在香港期间，从不主动见人，因此没有见过卫立煌，而在1965年之前，也只见过张发奎二次面。
在香港的一些国民党流散将领，组织了一个协会，邀请关麟征参加，关麟征表示拒绝，称自己丝毫不感兴趣。关麟征担任中央军校校长期间，所教育的黄埔20到23期的学生中，也有一些人在香港搞同学会请关麟征出席，关麟征也都婉言谢绝。在香港多年，关麟征从未在报纸上发表过文章。
1975年4月5日，蒋介石在台北的士林官邸病逝。得到这一消息的关麟征，带着妻子乘飞机前往台湾吊唁。在台北松山机场，上百个黄埔将领、师生迎候关麟征，关麟征和好友黄杰握手后，两人禁不住相拥抱头痛哭起来。
在台湾期间，蒋经国和关麟征有过一次长谈，希望关麟征留在台湾。当年关麟征不去台湾的一个主要原因，就是他和陈诚不和，两人势头水火，关麟征不愿到台湾寄人篱下，受陈诚的气。1965年，陈诚病死后，蒋介石多次派人邀请关麟征到台湾，关麟征都婉言拒绝。这次关麟征到台湾吊唁，蒋经国也提出诚恳的邀请，并承诺住房、待遇都不成问题，关麟征感谢了蒋经国的好意，但还是在几天后返回香港。
1980年7月30日，关麟征病逝于香港伊利莎白医院，年75岁。他晚年写的《关麟征回忆录》，有一定的史料价值。关麟征在香港病危的时候，护士对他进行抢救。当她们打开他的上衣进行急救时，见到他的胸口上到处是疤痕，年轻的护士感到非常震惊。关麟征的家人告诉她们，这是被日本人炮弹炸伤所留下的疤。