座上珠玑昭日月，堂前黼黻煥煙霞。——榮禧堂
在古典小說《紅樓夢》中，榮禧堂是榮國府的中心建築，而“榮禧堂”三字是皇帝親筆“書賜榮國公賈源”，下面還有皇帝的印章：“萬幾宸翰之寶”。由此可見，賈府是備受皇帝恩寵的，而書中賈源及其胞弟賈演的曆史原型是曹寅的父親曹玺，也就是曹雪芹的曾祖父。
曹玺原名叫曹爾玉，後因康熙帝将爾玉連寫做玺，故而得名，曹玺曆經明末，祖父曹錫遠曾任明朝沈陽中衛指揮，清兵攻占沈陽時，年幼的曹玺及其家人被清兵所俘，後被帶到了皇太極府上做“包衣阿哈（家庭奴隸）”。
曹玺長大後也進了軍隊，逐漸嶄露頭角，他的妻子孫氏則是康熙帝的保姆，後來曹玺鎮壓山西叛亂有功，是以被康熙帝派出監理江甯織造，江甯織造是在南京設局制造宮廷所需絲織品的皇商，曹玺當了首任郎中，其子孫後代皆在江甯織造任職過。
從曾祖父曹玺、祖父曹寅至父輩，曹雪芹三代襲官居住在江甯織造府，按照相關文獻的記載，曹雪芹大約也是在江甯織造府出生的。曹寅16歲入宮後便當了康熙銮儀衛，因曹寅的母親是康熙帝的保姆，并且其父親對清也有功勞，是以曹寅頗受康熙帝的重視。
而曹寅也是文武雙全、博學多能，20多歲時被提拔為了禦前二等侍衛兼正白旗旗鼓佐領，如果說曹玺為曹家的繁榮打下了基礎，那麼曹寅便是錦上添花，為曹家更添了榮耀等，成為了江南地區屈指可數的豪門貴族。
康熙二十九（1690年），康熙帝将曹寅提拔為蘇州織造，同樣是為宮廷供應織品的皇商，兩年後，曹寅被調到了江甯織造，而康熙帝六次南巡，其中便有4次是住在曹寅家，也直接反映了曹寅在康熙帝心中的位置。
不過受到皇帝的特别重視，與曹家而言，到底是好還是壞？大概也就隻有曹家人自己知道，不過曹家确實過上了窮侈雞極奢的，曹雪芹幼年至少年時期還是度過了一段豪門生活，是以能夠寫出《紅樓夢》中賈府富麗堂皇的細節。
然而在曹雪芹13歲時，曹家曆經變故，雍正五年（1727年），時任江甯織造員外郎的叔父曹頫以騷擾驿站、織造虧空、轉移财産等罪被革職入獄，第二年，曹家在正月雲霄節前被抄家了。
曹寅和他的親兒子先後在江甯織造去世後，康熙帝便将他弟弟曹荃的第四子曹頫過繼給他當兒子，而到了曹頫這一輩，皇帝便逐漸與曹家疏遠了，并且在康熙後期，曹寅生前虧空了織造庫銀三十七萬三千兩。
造成這樣的結局，康熙帝是要付很大的責任，康熙帝六下江南，四次住在曹寅家，寅一家也得處處為康熙帝準備極好的東西，花費可不小，而康熙帝能帶給曹家至高無上的榮耀，然而也給曹家帶來重負。
雍正帝即位後，在全國大張旗鼓的清查錢糧，追補虧空，雍正五年，曹家就被抄家，雍正看到曹家被抄的家産後也是倒吸了一口涼氣，隻見查抄清單上書中寫道：“其房屋并家人住房十三處，共計四百八十三間，地八處共十九頃零六十七畝，家人大小男女共一百十四口，餘則桌椅床舊衣零星等件及當票百餘張，外有欠曹銀共計三萬二千兩。”
原來江南第一豪門的曹家竟隻有這麼點東西。