1945年初，蒋介石突然下达了“撤去主持中统15年的特务头子徐恩曾本兼各职，永不录用”的手谕。对于徐恩曾的失宠，很多人感到困惑，中统局一度人心慌慌，甚至连工作无法开展。这背后的原因并不复杂，是徐恩曾的一些所作所为引起了蒋介石的严重不满。
事实上，在1941年之前，蒋介石一直认为徐恩曾的工作能力不错，但后期军统的特务活动却远超中统，因为徐恩曾不像戴笠那样，愿意集中精力始终如一地将间谍工作视为自己的责任。
1941年徐恩曾被任命为交通部次长，同时兼任中统局长。蒋介石特地召见徐恩曾，语重心长地告诫他“我命你担任交通次长，是为了让你可利用交通部次长的职务便利，加强中统在铁路、公路、船舶、飞机等系统的间谍工作，建立一个系统而全面的侦查网络。”
但徐恩曾后来却忘记了蒋介石的嘱托，并试图利用中统的力量往上爬。在徐恩曾内心深处，他憎恨特务部门的黑暗，一直想公开露面。在当上交通部次长后，徐恩曾到处结交人脉，为竞选经济部长作准备，忽视了特务活动，导致中统工作充满漏洞。
蒋介石得知后很不高兴，认为徐恩增不听指挥、工作不当。众所周知，徐恩贞是在陈果夫、陈立夫兄弟的帮助下才当上了中统头目，他自然很感激陈氏兄弟。然而，为了当上经济部长，徐恩曾却逐渐疏远陈氏兄弟，他与国民党中央秘书长吴铁成交好，并在吴铁成的推荐下获得了交通部次长的职位。
虽然陈氏兄弟对徐恩曾当交通部次长一职表示不满，但他们同时认为这将有利于间谍事业的发展，因此暂时保持了沉默。
当徐恩增又争取经济部长一职时，引起了陈氏兄弟的愤怒，因为陈立夫恰好想谋求经济部长一职。当陈氏兄弟看到徐恩曾与他们的利益产生冲突时，他们便不在蒋介石面前再替徐恩曾说话。
而且，徐恩曾自己是个好色之徒，他有两个妻子。后来还爱上了一位相貌出众、多才多艺的女学生，名叫费侠，费侠早年留学苏联，在苏联期间，她加入中国共产党。留学归国后，费侠在中共上海机关工作。1931年顾顺章被捕后叛变投敌，费侠也被捕，在顾顺章的说服下，费侠随即叛变投敌。
如果徐恩曾只是简单的同费侠交往也就罢了，但她非要坚持同费侠婚。负责国民党党务和中统工作的陈氏兄弟一致认为徐恩曾此举不对，他们担心费侠的叛徒身份，会对中统特务工作产生不利。因此，陈氏兄弟劝徐恩曾以事业为重，不要迎娶费侠。
没想到，徐恩曾已与费侠爱的死去活来，他甚至对陈氏兄弟说：就算不做中统的头目，他也要和费侠结婚。
陈氏兄弟别无选择，只能向蒋介石报告。蒋介石也认为这件事非同小可，如果费侠假意投降，那么他无论如何都不能娶费侠，于是召见徐恩曾问：“你能确保她没有问题吗？”
徐恩增坚持说没有问题。蒋介石见他态度坚决，只好答应他们的婚事。与费侠结婚这件事，徐恩曾已经忤逆了蒋介石的意志，蒋介石逐渐对他越来越不信任。接下来发生的三件事，彻底令蒋介石放弃徐恩曾。
一是，在国民党某次重要的会议期间，中央党部竟然出现了“总裁独裁，中正不正”的标语，徐恩增追查了许多天，没有查出原因，只好去找老蒋介石道歉，蒋介石被激怒了，认为中统做事太不给力。
二是，1943年冬，一直与中统有矛盾的军统，将徐恩曾的第二任妻子王素清在成都从事高利贷、杀人等非法活动密报给蒋介石。随后，蒋介石在高级别会议上痛斥徐恩曾“你应该受到处分”，这是借徐恩增妻子违法行为对徐恩曾再一次敲打。
三是，1944年4月，蒋介石在其亲自主持的军、警、宪、特高级情报汇报会上，要求中统介绍下八路军在敌后的武装发展情况。由于徐恩曾事先没有充分准备，在会上支支吾吾，根本回答不清楚；相反，戴笠则准备得很充分，将八路军武装情况汇报的明明白白。蒋介石勃然大怒，严厉批评了徐恩曾。
在徐恩曾接二连三不断失职的情况下，蒋介石终于下达了那条免去他所有职务的命令，转而大力重用戴笠。
被老蒋免职后，徐恩曾利用自己的经商天赋，把投身商场，很快富甲一方。
不过颇具讽刺的是，戴笠于1946年3月坠机身亡，全身烧焦；而成为富商的徐恩曾去台后于1985年离世，得以善终。真可谓，塞翁失马，焉知非福！