何應欽曾是老蔣最為倚重的部下之一，在國民黨内部也是長期處于僅次于蔣介石的二把手的位置。他和老蔣兩人表面上看來是交情頗深的好友，老蔣一口一個敬之兄，叫得也是十分親熱，但早就各懷心思，兩人之間的間隙也越來越大。何應欽表面上順從老蔣，實際上隻要老蔣處于劣勢，他就會蠢蠢欲動想要取而代之。
1927年桂系李白将老蔣逼得下野，老蔣以為何應欽這般肱骨之臣會挺身而出幫自己說話，而他卻隻是裝聾作啞，在他下野後和李白二人組成了軍事常務委員會。老蔣争取了日本的支援又娶了宋美齡，在一年之後就重新殺了回來，将何應欽的大權奪回。
1936年西安事變，蔣介石被困西安。何應欽置老蔣安危不顧，做主要派飛機轟炸西安，對張學良采取軍事讨伐。這一決定居心叵測，如果不是宋美齡及時來救場，恐怕老蔣已經一命嗚呼。這件事情之後，老蔣對何應欽的信任明顯動搖，不再對他放權。
抗戰勝利之後，何應欽成為了不帶一兵一卒的國防部長。在國民黨敗走台灣之後，老蔣則将他排擠出決策層，而給了他一個顧問委員會主任這樣的虛職。經曆了那麼多的摩擦，何應欽大概對老蔣這種态度早有預料，許是他真心願意放棄權力的争奪，反而讓老蔣最終對他放心，讓他安心在台灣活到了98歲。
何應欽的晚年生活是真正的看山是山看水是水，返璞歸真。在戰場和名利場上經曆了大風大浪的他，最後無權無勢之後也沒有消極待事，他在家侍奉花草，偶爾出門剪彩做個演講，有的時候還會參加一些文化活動。一心在家修身養性的他身體非常好，基本上沒有得過什麼病。
何應欽心胸闊達，在外人面前對老蔣絲毫沒有怨言，他甚至多次對人說，老蔣讓他這樣的老一輩慢慢退出舞台有老蔣的想法，因為他已經老朽了，需要青年才俊接替，他會真心去擁護。
何應欽老年最為傷心的事情大約就是他夫人王文湘的病逝。王文湘從十九歲就嫁給了何應欽，她不能生育，曾多次希望何應欽另娶，但是他都嚴詞拒絕了。王文湘後來患上了乳腺癌，何應欽不僅對她百般照顧，每年還要陪她去日本治療。
在何應欽88歲的時候，王文湘病重離世，何應欽十分傷心。他因為和王文湘之間的感情，被台灣媒體一直稱作中國第一好丈夫，從夫妻間的忠誠來看，何應欽倒是十分重情重義。