俗話說得好，“伴君如伴虎”，曹家也是一樣，身為官場世家的曹家同樣沒有能夠很安心地生活在皇帝的視野之下。
從曹玺到曹寅，到曹颙（曹寅的長子）、再到曹頫（曹寅的侄子）、最後到曹雪芹這一代的時候，康熙王朝已經過去，在面對随之而來的雍正王朝時，曹家似乎顯得太過格格不入。雍正帝不是昔日對曹家寵愛有加的康熙帝，而面對新一代曹家掌門人的曹頫時，因為他的碌碌無為以及“騷擾驿站”等事情的敗露，最終使得雍正帝忍無可忍，在“嚴明吏治”的旗幟下，将曹頫革職查辦，曹家家産充公，曹家人回京歸旗（曹家人祖上為正白旗）。
1.康熙帝與曹家
曹家為何能在康熙年間混得風生水起，身處于封建時代，世家大族的崛起似乎總與帝王的垂愛不無關系，如若不是康熙帝對曹家的多多提攜，僅憑曹家曆代當家人的為官作風和能力來看，曹家無論如何都不會有此殊遇的。
康熙帝同曹家的關系要從最早的曹玺說起，公元1651年，攝政王多爾衮因犯死罪故順治帝将其所屬的正白旗收納為自己手下，這也就直接導緻了正白旗日後成為了愛新覺羅家族的家奴。而曹玺與康熙帝的關系，則是由“家奴”這一層關系的基礎上發展而來的，康熙帝兒時的保姆正是曹玺的妻夫人，再加上曹玺本人的能力突出，故尤為受到康熙帝重任。
曹玺去世之後，因為曹寅從小同康熙帝親身長大，兩人關系甚為不錯，是以康熙帝在對待曹寅之時，也是十分寵愛的。《清史稿》記載：康熙帝五下江南，曹寅五次接待，其中四次都是寄宿在了曹家，由此可見，康熙對待曹家的信任程度。不過也正是因為康熙帝對曹家的一味寵愛和庇護，在很大程度上終才導緻了曹家後續命運的不幸。
2.雍正帝與曹家
按理來說，康熙帝生前對待曹家的态度十分友好，身為繼承人的雍正帝自然不會逆着父皇的心願來，但時值雍正帝親臨金銮殿的時候，卻首先将沖突對準了曹家，之後便以種種罪狀将曹家抄家。對于雍正帝來說，曹家的最終悲慘結局也在很大程度上滿足了雍正帝的一樁心事吧！
其一：天子腳下，貪贓枉法，有違政改
上邊提到，曹寅曾經主持了康熙帝五下江南等巨大事宜，在此期間，曹寅所投入的銀子數目不可估量，再加上曹寅本人身在官場的日用排場、應酬送禮等開支，确實壓的曹寅很難喘過氣來。公元1709年，時任兩江總督的噶禮參奏曹寅，内容是：曹寅（江甯織造）和李煦（蘇州織造）虧欠公銀三百萬兩。
但當時康熙帝對待其兩人的态度還是溫和的，隻是讓他們随後補空，并未對之作出懲罰。曹寅去世後，朝廷便又查出了曹寅生前曾虧空國庫三十七萬三千兩白銀。如此巨大的虧空數字對于曹家來說，确實是個天文數字，但這重擔自然而然就落在了曹家後世當家人的肩膀上了。
雍正上台之後，便面向全國展開了大規模的清查錢糧、嚴明吏治的活動，恰巧時任江甯織造的曹頫不僅沒有補空祖上所虧空的錢财，反倒還貪贓枉法起來，面對如此不堪之局面，雍正絕不可能再放任随之了。
其二：曹家人參與了“九龍奪嫡”
如果當時曹家人選擇站到支援四爺（雍正）的角度上，其實也就不會引來後期雍正對其的反感，至少不用被拿來開刀。但至康熙晚年之時，曹家人犯了兩個錯誤：不應該參與到“九龍奪嫡”當中來；更不應該站到支援八爺的角度上來反對四爺。