1949年5月初，何應欽給宋希濂打電話說：“恩施一帶并無共軍，你們到那裡實在沒有必要！常德一帶異常空虛，你如不來，湖南戰事就不可收拾，你到恩施也是絕路。”
宋希濂抛出一句令何應欽膽寒的話：“我管不了許多，老頭子叫我怎麼辦就怎麼辦。”老頭子，指的就是蔣介石！”
何應欽火了，大聲吼道：“我是行政院長兼國防部長，負責指揮軍隊，你必須服從我的指令！”
宋希濂毫不示弱，大聲回了一句：“軍事上，我隻對老頭子負責”說完，宋希濂幹脆把電話挂了。
一旁的代總統李宗仁連連搖頭，何應欽臉色發紫，渾身顫抖，此時他餘怒未消，說道：“這是什麼體統，什麼體統，我生來從未受過這種侮辱。”
在南京解放，國民政府逃到廣州後，擺在何應欽面前的就是如何應對兵敗如山倒的局面。但是何應欽這個行政院長兼國防部長卻是難以調動部隊，尤其是蔣系部隊的将領們，一切隻聽蔣介石的訓示。
何應欽急于要購買武器以及裝備，他幾次向蔣介石告急，希望從台灣運來黃金外币。當時，解放軍勢如破竹，每天南下一百多公裡，已經達到福建。而國軍前線部隊一直催要軍饷，非但不堅守陣地，反而一直南逃。
何應欽名義上指揮的國軍，一直在敗退。從解放軍解放南京起，20個小時内，何應欽調動飛機32架次，運出國民政府要員1000多人，調集火車三列，運載700多人到上海。之後幾天，又調集飛機51架次，把1300多人運到重慶、廣州、台灣，動用輪船運送2250人到廣州，運1200人到台北，等等。
盡管何應欽召集部下講解形勢時，表示：解放軍的意圖是孤立上海，要采取以下步驟，進出浙南閩北，威脅福州廈門，進窺南昌，最後才進攻粵境。但當記者問如何抵抗時，何應欽支支吾吾，說：“國軍今後的具體的軍事計劃，不便宣布。”
令何應欽感到憤怒的是，宋希濂部共有10多萬人，武器精良，左可以憑借十萬大山，右可以依靠八百裡洞庭，遲滞解放軍的攻勢。可是，當何應欽下令讓宋希濂率部死守湘西至嶽陽一帶時，宋希濂竟然不聽軍令，把部隊撤到鄂川邊界恩施，使芷江、常德門戶大開，讓解放軍包圍白崇禧軍。
軍事上沒有辦法，何應欽的行政院長也是當不下去了，他召集參謀總長顧祝同、西南軍政長官張群、華中軍政長官白崇禧、海南行政長官陳濟棠等人開會，讨論财稅問題，會上，這次衆人都是叫苦，弄得何應欽有苦難言。
無奈之下，何應欽去找弟弟何縱炎，想從他那裡借一百萬美元應急。不料，當何應欽與五弟何縱炎聯系時。何縱炎表示：本應當大力支援大哥的要求，但自己也有難處，沒有總裁的準許，這麼大筆的錢怎麼敢出？何應欽搖搖頭，自己作為行政院長兼國防部長，卻拿不出手分錢，怎麼辦？
心灰意冷之下，何應欽決定辭職，5月12日，他在自己房間寫辭呈。辭呈中，何應欽分析目前存在的種種問題，說：“乃事實演變未符理想，而财政問題又困難萬端，無法解決。官兵公教人員之生活，不能有合理之維持。群眾疾苦，愈益加深，長此以往，恐将陷于萬劫不複境地。欽雖努力以赴，終感補苴無術，心中隐痛，莫可明言，唯有懇請辭去行政院長職務，以免贻誤将來。”
第二天，何應欽把辭職書交給李宗仁。李宗仁看後，久久沒有作聲，他招來廣州的中央立法委員、監察委員等等，大家對何應欽辭職表示挽留，要何應欽打消念頭。
何應欽雖然感動，但他去意已堅，聲淚俱下對李宗仁說，“德公如果要我幹下去，我隻有兩條路可走，一是逃亡，一是自殺”。
5月30日，李宗仁決定推薦國民黨元老居正接任行政院長職務，于是便順勢把何應欽内閣成員總辭職的報告送交。
在6月2日選舉會上，居正因遭到cc系和黃埔系的反對而落選，之後，閻錫山在蔣介石的支援下，以200票贊成、50票反對獲得通過，成為新一屆行政院長。
何應欽下台之後，蔣介石讓他馬上到台灣，還專門派了一架專機。開始何應欽還打起退堂鼓，他看到許多國民黨大員紛紛離開，如原台灣省主席魏道明逃到巴西，政學系要人熊式輝、沈劍虹等人滞留香港，宋子文更是辭去廣東省主席職務到美國去當寓公。
不過，何應欽思前想後，還是感到與蔣介石多年合作，去台灣後應該不會受到打擊，于是便帶着家眷去了台灣。
沒有了要職的何應欽，在台灣居然連一個像樣的私邸也找不到，後來還是當過何應欽部下的台灣警備副司令鈕先銘，把自己一套小别墅讓給了何應欽。到台後的何應欽，再沒有擔任過重要的實職，一直挂名的是評議委員、顧問委員會主任等領薪水的虛職。
從1986年起，何應欽身體明顯差了，5月1日，因中風進入台北榮民總醫院，神經部主任朱複禮親自治療，用盡當時最好的藥物，希望能延長他的生命，這時何應欽已經96歲。1987年10月20日上午，何應欽的血壓突然下降，經過全力搶救，到21日上午早上7點30分去世，年97歲。