大明隆慶三年六月，著名“愣頭青”海瑞升任都察院右佥都禦史、總督糧儲、提督軍務、巡撫應天十府。這一年的十二月，海瑞來到了松江府上海縣，檢視吳淞江水患，同時張榜告之，鼓勵百姓檢舉鄉官的不法行為，尤其是侵占民田、制造冤獄的。這次上海之行，目标隻有一個，就是曾經的大明首輔、海瑞的伯樂——徐階。
徐階為部臣時,也是嚴嵩權勢熏灼之際。“天下知有嵩,不知有陛下”,群臣“畏嵩甚于畏陛下”。徐階由夏言薦舉而提擢。嚴嵩與夏言争權,曾置言于死地而代之,自然十分忌諱徐階。徐階受寵,嚴嵩心懷憎恨,時時設法擠階。當時徐階“度未可與争”,遂處處提防,“屈己事之,凡可以結歡求免者無所不用”,甚至“以附籍、結姻以固其好”,求得安生。
當然徐階也很狡猾，張居正是次輔，首輔高拱，要想徹底搞掉海瑞就必須籠絡好這兩個人，于是徐階用三萬兩黃金賄賂這兩人，受人錢财替人消災嘛，他們一出面，什麼事都好辦啦，海瑞的應天巡撫被撤掉，調海瑞去别的地方做官，徐階用小小手段都消除了麻煩，還真是牛人啊，是以大家說“家居之罷相，能逐朝廷之風憲。”，看來退休回家的徐階破壞力還是很強的！
徐階回鄉後，他的家人開始大肆侵占田産，為禍鄉裡作惡多端，徐階對此基本不聞不問，朝廷有海瑞和蔡國玺二人秉公辦案，懲戒了徐階的家人，然而徐階卻通過張居正直接罷免了海瑞和蔡國玺，有人稱：“家居之罷相，能逐朝廷之風憲”，是以徐階晚年也被冠以權奸之名。