1949年5月初，何应钦给宋希濂打电话说：“恩施一带并无共军，你们到那里实在没有必要！常德一带异常空虚，你如不来，湖南战事就不可收拾，你到恩施也是绝路。”
宋希濂抛出一句令何应钦胆寒的话：“我管不了许多，老头子叫我怎么办就怎么办。”老头子，指的就是蒋介石！”
何应钦火了，大声吼道：“我是行政院长兼国防部长，负责指挥军队，你必须服从我的命令！”
宋希濂毫不示弱，大声回了一句：“军事上，我只对老头子负责”说完，宋希濂干脆把电话挂了。
一旁的代总统李宗仁连连摇头，何应钦脸色发紫，浑身颤抖，此时他余怒未消，说道：“这是什么体统，什么体统，我生来从未受过这种侮辱。”
在南京解放，国民政府逃到广州后，摆在何应钦面前的就是如何应对兵败如山倒的局面。但是何应钦这个行政院长兼国防部长却是难以调动部队，尤其是蒋系部队的将领们，一切只听蒋介石的指示。
何应钦急于要购买武器以及装备，他几次向蒋介石告急，希望从台湾运来黄金外币。当时，解放军势如破竹，每天南下一百多公里，已经达到福建。而国军前线部队一直催要军饷，非但不坚守阵地，反而一直南逃。
何应钦名义上指挥的国军，一直在败退。从解放军解放南京起，20个小时内，何应钦调动飞机32架次，运出国民政府要员1000多人，调集火车三列，运载700多人到上海。之后几天，又调集飞机51架次，把1300多人运到重庆、广州、台湾，动用轮船运送2250人到广州，运1200人到台北，等等。
尽管何应钦召集部下讲解形势时，表示：解放军的意图是孤立上海，要采取以下步骤，进出浙南闽北，威胁福州厦门，进窥南昌，最后才进攻粤境。但当记者问如何抵抗时，何应钦支支吾吾，说：“国军今后的具体的军事计划，不便宣布。”
令何应钦感到愤怒的是，宋希濂部共有10多万人，武器精良，左可以凭借十万大山，右可以依靠八百里洞庭，迟滞解放军的攻势。可是，当何应钦下令让宋希濂率部死守湘西至岳阳一带时，宋希濂竟然不听军令，把部队撤到鄂川边界恩施，使芷江、常德门户大开，让解放军包围白崇禧军。
军事上没有办法，何应钦的行政院长也是当不下去了，他召集参谋总长顾祝同、西南军政长官张群、华中军政长官白崇禧、海南行政长官陈济棠等人开会，讨论财税问题，会上，这次众人都是叫苦，弄得何应钦有苦难言。
无奈之下，何应钦去找弟弟何纵炎，想从他那里借一百万美元应急。不料，当何应钦与五弟何纵炎联系时。何纵炎表示：本应当大力支持大哥的要求，但自己也有难处，没有总裁的批准，这么大笔的钱怎么敢出？何应钦摇摇头，自己作为行政院长兼国防部长，却拿不出手分钱，怎么办？
心灰意冷之下，何应钦决定辞职，5月12日，他在自己房间写辞呈。辞呈中，何应钦分析当前存在的种种问题，说：“乃事实演变未符理想，而财政问题又困难万端，无法解决。官兵公教人员之生活，不能有合理之维持。民众疾苦，愈益加深，长此以往，恐将陷于万劫不复境地。钦虽努力以赴，终感补苴无术，心中隐痛，莫可明言，唯有恳请辞去行政院长职务，以免贻误将来。”
第二天，何应钦把辞职书交给李宗仁。李宗仁看后，久久没有作声，他招来广州的中央立法委员、监察委员等等，大家对何应钦辞职表示挽留，要何应钦打消念头。
何应钦虽然感动，但他去意已坚，声泪俱下对李宗仁说，“德公如果要我干下去，我只有两条路可走，一是逃亡，一是自杀”。
5月30日，李宗仁决定推荐国民党元老居正接任行政院长职务，于是便顺势把何应钦内阁成员总辞职的报告送交。
在6月2日选举会上，居正因遭到cc系和黄埔系的反对而落选，之后，阎锡山在蒋介石的支持下，以200票赞成、50票反对获得通过，成为新一届行政院长。
何应钦下台之后，蒋介石让他马上到台湾，还专门派了一架专机。开始何应钦还打起退堂鼓，他看到许多国民党大员纷纷离开，如原台湾省主席魏道明逃到巴西，政学系要人熊式辉、沈剑虹等人滞留香港，宋子文更是辞去广东省主席职务到美国去当寓公。
不过，何应钦思前想后，还是感到与蒋介石多年合作，去台湾后应该不会受到打击，于是便带着家眷去了台湾。
没有了要职的何应钦，在台湾居然连一个像样的私邸也找不到，后来还是当过何应钦部下的台湾警备副司令钮先铭，把自己一套小别墅让给了何应钦。到台后的何应钦，再没有担任过重要的实职，一直挂名的是评议委员、顾问委员会主任等领薪水的虚职。
从1986年起，何应钦身体明显差了，5月1日，因中风进入台北荣民总医院，神经部主任朱复礼亲自治疗，用尽当时最好的药物，希望能延长他的生命，这时何应钦已经96岁。1987年10月20日上午，何应钦的血压突然下降，经过全力抢救，到21日上午早上7点30分去世，年97岁。