1941年太平洋戰争爆發後，美國打算提供5億美元的貸款來支援中國的抗戰，由民國政府發行公債，等戰争結束後用這些公債券兌換美元即可，根據國民政府官方的規定，美元公債和法币的兌換比例為1比20，換句話，1美元可以兌換20法币，5億美元就相當于100億的法币。
這麼龐大的數額對于抗戰時期财政困頓的蔣介石來說，無疑是雪中送炭，為此蔣介石安排自己的姐夫孔祥熙負責美元公債的發行。
孔祥熙、宋霭齡和蔣介石
或許對國民政府的局勢不樂觀，也不信任聲譽掃地的蔣介石，加上法币一直在戰争中不斷貶值，到了1943年，5億美元公債隻賣出了4300萬美元左右，并沒有達到預期的銷售目标，甚至原先1:20的兌換比例一度上漲到1:200的地步。
法币的大幅度貶值讓孔祥熙的夫人宋霭齡看到有利可圖，她指使孔祥熙停售美元公債，而為了擷取蔣介石的信任，孔祥熙則以穩定法币為由先行停止了售賣。
公債的停止售賣，黑市立馬回報，本來已經1:20的兌換比例一度上漲到1:250的地步，而孔祥熙雖然停止了官方的售賣，暗地裡卻以平常價格向黑市售賣，然後按照原先1:20的價格上繳國庫，多餘的錢财全部收入囊中，前前後後獲利1150萬美元。
孔祥熙
當然，這也是孔祥熙斂财的手段之一，根據杜魯門所言，抗戰時期，美國向中國援助的38億美元中有7.5億美元被孔祥熙拿走，甚至捐贈的5億美元裡都有3億美元是孔家的财産，如此貪婪，不少人開始借鲸吞巨額美金公債公開指責孔祥熙，蔣介石至此開始冷落孔祥熙。
當然，一向精明的宋霭齡早就預料到孔家日後的處境，在醜聞爆發之前就開始對資産進行了轉移，也讓孔家的财産大部分都得到了保全。
1945年5月，抗戰勝利前夕，孔祥熙被迫辭去行政院副院長職務，後又辭去中央銀行總裁職務，徹底失去了蔣介石的信任。
1946年，孔祥熙開始認真清理目前還有的财産，把能帶走的都盡量轉移到香港和國外，随後回到老家山西太谷，在太谷，他隆重宴請了各親戚本家，當做自己的告别宴，打算以後再也不會回來。
此時解放戰争還在持續，想要離開必然會受到蔣介石的阻撓，但孔祥熙自有辦法。
孔祥熙和宋霭齡
1947年，讓宋霭齡以協助宋美齡楚國治病為由，讓宋霭齡在海外無色定居的地方，選來選去，最終選擇了定居美國裡佛代爾。
等一切準備充分後，孔祥熙給蔣介石發了一份電報，說宋霭齡染患惡病，情況嚴重，不等蔣介石的準許就匆匆飛往美國，除了定居在佛代爾一幢豪華别墅外，他還在紐約郊區花160多萬美金買下了一幢進階住宅，又在百老彙大街一家星級旅館以每天150美元的租金長租了一個房間，處處透露出自己的不差錢。
孔祥熙在上海的豪宅
孔祥熙想要在美國安度晚年，但杜魯門可不打算放過他，鑒于國民黨政要長期在美援裡中飽私囊，杜魯門直接下令要求聯邦調查局調查孔家、宋家在美國的财産，并且對孔祥熙實施秘密監視，也讓孔祥熙惶惶不可終日。
好在富人之間總有共同的話題，在美國的一位朋友建議下，他進行了多方面的幕後活動，不僅打通了關節，甚至還讓美國參議院外委會及美國财政部為自己證明所有存款不超過5000萬美元的材料。
除此之外，孔祥熙還會見記者，聲稱自己之前的确有錢，但都是祖上經營而來的，但随着幾十年的戰亂，大部分财産都損失殆盡，加上内戰的爆發，孔家更是損失慘重，眼下隻有一點積蓄生存而已。
孔祥熙與時任美國财政部長的摩根索
就這樣靠着自己的謊話，孔祥熙成功擺脫了危機，也讓聯邦調查局的監視、調查不了了之。
在美國的日子，孔祥熙過得和平常一樣，依舊保持晚睡晚起的習慣，财富衆多，自然吃喝上也很講究，每天早上起來必定和尚一碗燕窩，還有各種進階點心等等，午餐則是六菜兩湯，保持着高标準，晚上還有一碗人參雞湯。
當然在國外，孔祥熙是吃不到國内的無錫大米，更吃不到自己喜歡吃的山西拉面和山西煎餅等等。
1954年，在美國隐居幾年的孔祥熙突發奇想，想要跑回台灣去，這一次他不僅要重溫舊夢，還要競選副總統，但此時的蔣介石早已對他不感興趣，他在台灣的所作所為全部都是為蔣經國鋪路，絕對不可能讓孔祥熙插上一腳。
就這樣，孔祥熙想要繼續從政的希望徹底破滅了，也是從這個時候開始，孔祥熙徹底不聞政治，平時在美國也隻參與一些公益活動，比如為慈善機構捐款，在大學設立獎學金等等，為自己打造出慈善家的形象，挽回自己敗掉的名聲。
孔祥熙極力挽回自己名聲
但随着年齡漸長，孔祥熙卻越來越思舊，加上老有記者追問他的财産，思考很久之後，82歲的他還是決定回到台灣，他想要在這裡度過晚年，無論蔣介石是否歡迎，他都要回去，而且他自認為回去不摻和政治，蔣介石應該不會對他怎麼樣。
1962年10月，孔祥熙回到台灣，見到了長達十五年未謀面的蔣介石，對于孔祥熙的突然到訪，蔣介石的表現則是不冷不熱，雖然已經為蔣經國鋪好的路，孔祥熙已經構不成威脅，但他畢竟是蔣經國的長輩，多一個這樣的長輩的，對于蔣經國來說始終是不太友善的。
是以蔣介石隻是對孔祥熙進行了禮節性的拜訪和談話，随後丢了一個評議委員的虛職就不再搭理他。
蔣介石不冷不熱的态度讓孔祥熙大失所望，但已經來到台灣了，隻能忍氣吞聲先住下再說，就這樣，在台灣勉強呆了三年多後，孔祥熙再也待不住了，1966年2月，孔祥熙以赴美治病為借口，再度飛回美國，這次離開，他滿眼落寞，而且決定不再回來。
孔祥熙、宋霭齡與蔣介石
回到美國後，孔祥熙和宋霭齡又搬進了新的地方，這就是位于長島洛卡斯特谷菲克斯巷的一幢新别墅，在這裡邊看病，邊休養，斷絕了自己一切的幻想，生活過得相當幽靜。
但孔祥熙有個心病，就是子嗣不豐，雖然有兩子兩女，但孔令儀、孔令侃、孔令偉都未能留下子嗣，一度讓孔祥熙感歎孔家的香火就要斷了，好在還是幼子孔令傑才生下唯一的孫子孔德基，他也是孔家唯一的第三代，讓孔祥熙得到稍許的安慰。
孔令偉
隻是孔祥熙沒想到的是，這個唯一的孫子日後也沒結婚，孔家的香火似乎徹底要斷了。
孔祥熙兒女
1967年7月，孔祥熙起床後照例躺在軟靠背椅上看報紙，但沒多久他就感到不舒服，雖然及時的送往醫院穩住了病情，但随後病情就開始惡化，于8月16日死于紐約醫院，時年88歲。