劉邦晚年寵信戚夫人，愛屋及烏，也比較偏愛戚夫人生的兒子趙王如意，一度有意廢黜太子劉盈，改立趙王如意為太子。這個事情顯然很不簡單。因為這件事不做則已，如果做了，那麼連帶的就會動搖呂後的地位。也就是說，如果劉邦真的成功廢立太子，那麼接下來就會廢黜呂後，改立戚夫人為皇後。是以，劉邦這個想法遭到了朝臣的強烈反對，劉邦最後隻能怏怏作罷，結果是呂後上台之後，大肆報複，逼死如意，殘酷虐殺戚夫人。
劉邦貴為天子，為什麼想換個繼承人都這麼不容易呢？
而且，劉邦找出的理由其實也說得過去，劉盈性格懦弱，不适合當皇帝。尤其是在劉邦看來，漢朝剛剛建立，參與創業的元老功臣們都還在，而這些人都是草莽英雄出身，讓一個性格懦弱、仁慈的兒子去駕馭這些人，劉邦擔心初建的漢朝江山可能會翻船，其實也并非毫無道理。更何況，天下初定，漢朝中央能夠實際控制的不過是秦國故地和韓魏故地，關東地區存在大量的封建諸侯，劉盈如此懦弱，一旦關東諸侯有人效仿項羽劉邦，漢朝的江山還能不能延續下去，就很成問題了。
呂後和戚夫人都不是一個人在戰鬥，在她們兩人的宮鬥戲背後，還有兩人各自所代表的利益集團。
劉邦能夠奪取天下，依靠三股力量，也就是漢初功臣集團的三個集團。首先當然是參加了沛縣起義以及受楚懷王之封後配屬給的部隊，這個集團是劉邦集團的原始股東，最早大約三萬人，比如曹參、周勃、樊哙、蕭何、夏侯嬰等，都屬于這個集團。第二個集團是劉邦奉楚懷王之命進攻秦國關中谷地的時候，在中原韓魏故地一帶招納了大量韓魏舊貴族，比如張良、韓信，基本上就屬于這個集團。第三個集團則是劉邦入關中之後，以秦國故地為根據地，與項羽争衡，是以部隊主體基本上變成了秦國人。
這三個集團大緻也可以對應劉邦集團的三個層次，砀泗元從集團是劉邦集團的骨幹，劉邦的進階将領基本上都出自這個集團，也是劉邦最信任的一個群體。韓魏一帶召集的豪傑則是劉邦集團的中層幹部，除了張良、韓信成功進入了劉邦集團的進階上司層之外，其他人基本上都沒有這個機會。第三個層次，也就是在楚漢相争時期，劉邦從秦國故地大量征發的農民，這是劉邦集團的士兵的主要組成部分。當然，在韓信平定趙地、齊地的過程中，也加入了大量齊人、趙人，但基層幹部基本上還是以秦人為主。
呂後是劉邦的結發妻子，和劉邦也是老鄉，是以，站在呂後身後的是整個參加了劉邦起義全過程的砀泗元從功臣集團。戚夫人是劉邦在韓魏一帶所獲，是以戚夫人背後是劉邦集團中的趙魏韓一帶的功臣集團。而在劉邦考慮廢立太子的時候，還是漢朝初建時期，能夠說得上話的大臣，其實基本上都出自砀泗元從這個功臣集團，很少有例外。即便是張良這種劉邦比較信任的謀士，地位實際上也要比砀泗元從低得多。這也是漢朝建立之後，張良急流勇退，歸隐山林的原因，因為他看出來了劉邦和砀泗元從集團對他是有戒心的。
這個砀泗元從功臣集團在漢初政治舞台上權勢極大，而且一直延續到了漢武帝時期，才逐漸退出曆史舞台。比如漢初時期的九卿，基本上都是出自這個集團。當這個集團的第一代人死後，到文帝、景帝時期，第二代也仍然延續了這種政治上的特權地位，比如三公基本上都出自這個集團，極少有例外。一直到景帝時期，這個集團在二千石以上的進階職務中所占的比例才開始逐漸下降。也就是說，雖然皇帝是劉邦，但幫助劉邦管理整個國家的，還是這個功臣集團，這是劉邦坐江山的權力基礎。是以，劉邦作決策的時候不能不考慮這個集團的反應。
而劉邦最後放棄廢立太子，也是發現整個砀泗元從集團反對的态度很堅決，沒有多少商量餘地。在這種局面下，如果他還要強行廢立太子，那麼就意味着他要和整個砀泗元從集團對着幹，反對的人他就必須要清洗一遍，否則即便是他将如意立為太子，将來也很難站得住腳。但要做這種政治上的大手術，第一是當時漢朝的政治局面并不算特别穩定，劉邦一直到處征戰，沒有太多時間來做，另一方面是當時這麼做，會動搖漢朝的統治基礎。是以，最後還是劉邦自己選擇了妥協，放棄了這個打算。