1941年太平洋战争爆发后，美国打算提供5亿美元的贷款来支持中国的抗战，由民国政府发行公债，等战争结束后用这些公债券兑换美元即可，根据国民政府官方的规定，美元公债和法币的兑换比例为1比20，换句话，1美元可以兑换20法币，5亿美元就相当于100亿的法币。
这么庞大的数额对于抗战时期财政困顿的蒋介石来说，无疑是雪中送炭，为此蒋介石安排自己的姐夫孔祥熙负责美元公债的发行。
孔祥熙、宋霭龄和蒋介石
或许对国民政府的局势不乐观，也不信任声誉扫地的蒋介石，加上法币一直在战争中不断贬值，到了1943年，5亿美元公债只卖出了4300万美元左右，并没有达到预期的销售目标，甚至原先1:20的兑换比例一度上涨到1:200的地步。
法币的大幅度贬值让孔祥熙的夫人宋霭龄看到有利可图，她指使孔祥熙停售美元公债，而为了获取蒋介石的信任，孔祥熙则以稳定法币为由先行停止了售卖。
公债的停止售卖，黑市立马反馈，本来已经1:20的兑换比例一度上涨到1:250的地步，而孔祥熙虽然停止了官方的售卖，暗地里却以平常价格向黑市售卖，然后按照原先1:20的价格上缴国库，多余的钱财全部收入囊中，前前后后获利1150万美元。
孔祥熙
当然，这也是孔祥熙敛财的手段之一，根据杜鲁门所言，抗战时期，美国向中国援助的38亿美元中有7.5亿美元被孔祥熙拿走，甚至捐赠的5亿美元里都有3亿美元是孔家的财产，如此贪婪，不少人开始借鲸吞巨额美金公债公开指责孔祥熙，蒋介石至此开始冷落孔祥熙。
当然，一向精明的宋霭龄早就预料到孔家日后的处境，在丑闻爆发之前就开始对资产进行了转移，也让孔家的财产大部分都得到了保全。
1945年5月，抗战胜利前夕，孔祥熙被迫辞去行政院副院长职务，后又辞去中央银行总裁职务，彻底失去了蒋介石的信任。
1946年，孔祥熙开始认真清理目前还有的财产，把能带走的都尽量转移到香港和国外，随后回到老家山西太谷，在太谷，他隆重宴请了各亲戚本家，当做自己的告别宴，打算以后再也不会回来。
此时解放战争还在持续，想要离开必然会受到蒋介石的阻挠，但孔祥熙自有办法。
孔祥熙和宋霭龄
1947年，让宋霭龄以协助宋美龄楚国治病为由，让宋霭龄在海外无色定居的地方，选来选去，最终选择了定居美国里佛代尔。
等一切准备充分后，孔祥熙给蒋介石发了一份电报，说宋霭龄染患恶病，情况严重，不等蒋介石的批准就匆匆飞往美国，除了定居在佛代尔一幢豪华别墅外，他还在纽约郊区花160多万美金买下了一幢高级住宅，又在百老汇大街一家星级旅馆以每天150美元的租金长租了一个房间，处处透露出自己的不差钱。
孔祥熙在上海的豪宅
孔祥熙想要在美国安度晚年，但杜鲁门可不打算放过他，鉴于国民党政要长期在美援里中饱私囊，杜鲁门直接下令要求联邦调查局调查孔家、宋家在美国的财产，并且对孔祥熙实施秘密监视，也让孔祥熙惶惶不可终日。
好在富人之间总有共同的话题，在美国的一位朋友建议下，他进行了多方面的幕后活动，不仅打通了关节，甚至还让美国参议院外委会及美国财政部为自己证明所有存款不超过5000万美元的材料。
除此之外，孔祥熙还会见记者，声称自己之前的确有钱，但都是祖上经营而来的，但随着几十年的战乱，大部分财产都损失殆尽，加上内战的爆发，孔家更是损失惨重，眼下只有一点积蓄生存而已。
孔祥熙与时任美国财政部长的摩根索
就这样靠着自己的谎话，孔祥熙成功摆脱了危机，也让联邦调查局的监视、调查不了了之。
在美国的日子，孔祥熙过得和平常一样，依旧保持晚睡晚起的习惯，财富众多，自然吃喝上也很讲究，每天早上起来必定和尚一碗燕窝，还有各种高级点心等等，午餐则是六菜两汤，保持着高标准，晚上还有一碗人参鸡汤。
当然在国外，孔祥熙是吃不到国内的无锡大米，更吃不到自己喜欢吃的山西拉面和山西煎饼等等。
1954年，在美国隐居几年的孔祥熙突发奇想，想要跑回台湾去，这一次他不仅要重温旧梦，还要竞选副总统，但此时的蒋介石早已对他不感兴趣，他在台湾的所作所为全部都是为蒋经国铺路，绝对不可能让孔祥熙插上一脚。
就这样，孔祥熙想要继续从政的希望彻底破灭了，也是从这个时候开始，孔祥熙彻底不闻政治，平时在美国也只参与一些公益活动，比如为慈善机构捐款，在大学设立奖学金等等，为自己打造出慈善家的形象，挽回自己败掉的名声。
孔祥熙极力挽回自己名声
但随着年龄渐长，孔祥熙却越来越思旧，加上老有记者追问他的财产，思考很久之后，82岁的他还是决定回到台湾，他想要在这里度过晚年，无论蒋介石是否欢迎，他都要回去，而且他自认为回去不掺和政治，蒋介石应该不会对他怎么样。
1962年10月，孔祥熙回到台湾，见到了长达十五年未谋面的蒋介石，对于孔祥熙的突然到访，蒋介石的表现则是不冷不热，虽然已经为蒋经国铺好的路，孔祥熙已经构不成威胁，但他毕竟是蒋经国的长辈，多一个这样的长辈的，对于蒋经国来说始终是不太方便的。
因此蒋介石只是对孔祥熙进行了礼节性的拜访和谈话，随后丢了一个评议委员的虚职就不再搭理他。
蒋介石不冷不热的态度让孔祥熙大失所望，但已经来到台湾了，只能忍气吞声先住下再说，就这样，在台湾勉强呆了三年多后，孔祥熙再也待不住了，1966年2月，孔祥熙以赴美治病为借口，再度飞回美国，这次离开，他满眼落寞，而且决定不再回来。
孔祥熙、宋霭龄与蒋介石
回到美国后，孔祥熙和宋霭龄又搬进了新的地方，这就是位于长岛洛卡斯特谷菲克斯巷的一幢新别墅，在这里边看病，边休养，断绝了自己一切的幻想，生活过得相当幽静。
但孔祥熙有个心病，就是子嗣不丰，虽然有两子两女，但孔令仪、孔令侃、孔令伟都未能留下子嗣，一度让孔祥熙感叹孔家的香火就要断了，好在还是幼子孔令杰才生下唯一的孙子孔德基，他也是孔家唯一的第三代，让孔祥熙得到稍许的安慰。
孔令伟
只是孔祥熙没想到的是，这个唯一的孙子日后也没结婚，孔家的香火似乎彻底要断了。
孔祥熙儿女
1967年7月，孔祥熙起床后照例躺在软靠背椅上看报纸，但没多久他就感到不舒服，虽然及时的送往医院稳住了病情，但随后病情就开始恶化，于8月16日死于纽约医院，时年88岁。