曹雪芹降生的时候，他的家庭早已过了为时数十年之久的“全盛”时期，在他的心目中，他自己已是一个“生于末世”的人了。他家的命运，自然也有“下坡路”，不过这个下坡路却不是一个缓坡，而是特别陡峭的险坡。康熙五十一年秋天，李煦紧张地料理完了曹寅突然病故的意外事件，五十三年冬底（或次年正月初）就又料理曹病故的更为意外的事件，他奉了康熙之命，携带了新过继的孩子曹奔赴江宁，收拾残局，勉维门户，那不仅仅是“萧疏”了，简直是十分凄凉悲惨。一个孩子，哪里会做什么织造监督，不过是长辈至亲李煦、故父的门生旧吏、得力的年老家人，一起帮助来维持这里里外外的种种事务。至于雪芹，幼年虽然也是“公子”“哥儿”，锦衣玉貌，但他所处的环境，已经不会把他“培养”成为一个肠肥脑满、骄奢放纵的“小衙内”了。
曹家的全盛，是完全和康熙一朝相为终始的。从康熙二年（1663）起，他家祖孙三辈四人，在江南做织造官共历六十年之久，实际等于世代落户在南京（今江苏南京市），——曹雪芹也就是生在南京的。
这六十年，以曹雪芹的曾祖曹玺为首，以他的祖父曹寅为中心人物，在江南的“红尘中一二等富贵风流之地”，曹家经历了他们的“繁华”而又“风雅”的生活。不过，他们是康熙帝（玄烨）的私人家奴，他们的命运紧密地和康熙帝个人的一切联在一起。只要康熙坐在统治宝座上，他们就得其所哉；康熙一死，就有“树倒猢狲散”之势；而康熙生前所制造的一些事因，也就给他家栽种下了莫大的祸根。
康熙是清朝十个皇帝中比较最好的一个，历史家对他有较高的评价，在历史上讲，他起了一些作用，对内统一全国，对外反击侵略，六十年间百姓得以安居乐业，国力富足，有应该加以肯定的地方。但他包庇亲信，纵容贪污，给官场上助长了一种坏风气；他又以视察治水为因，开始了他一生六次南巡的弊政（以致他的孙子乾隆也要学他，照样来了六次！），劳民伤财，不可胜言；以上两者，又密切关联、交互因果，于是吏治民生，皆大受其害，其影响之深巨，可以说和清朝的中衰有直接关系，实不容低估、忽视。这是一。其次，他虽说是“一生福大”，可却是“老运不佳”，晚年因为“皇太子”（胤）情况不妙，立而废，废而立，伤透了脑筋，再加上诸位“皇子”（他的皇子特多，达二三十个）分朋树党、争权谋位，——有的竟然等不得他“晏驾”、要行刺于“父皇”，吓得他夜里不敢睡，几乎气死！——这事情，也是对清朝皇室兴衰颇有关系的一点。但是此刻我们并不是要讲这个，我们所注意的是，这两件事——南巡和夺位——就正是致曹家于败亡、使曹雪芹饱尝“特殊经历”的直接原因。
我们都知道曹雪芹曾在小说里借“赵嬷嬷”的话来暗指他祖父曹寅时代的“嗳哟哟，好势派！独他家接驾四次！”其实，这话并不够精确，曹寅和他内兄李煦（他们两家一切都相同、共同，简直是一家人），是在南京、扬州、苏州三地每处共同“接驾”四次——实际是等于别人一处的（例如杭州的）十二次！那种“银钱滥用如泥沙”“别讲银子成了土泥”“把银子花的淌海水似的”“接驾”，一次已经不得了，十二次，简直是令人难以想象的情况！于是曹、李姻亲两家，在职任公款上，陷入了惊人的亏空债累中，永远没法补清。只不过康熙明知其情，曲意破格，竭力照顾“保全”，事情算是暂时没有发作。
诸位皇子明争暗斗的结果，皇四子胤以阴险暴逆的手段获得全胜，——将他老子谋害了，自己登上宝位，是为雍正帝。紧接着是一场激烈凶恶的争斗和残害开始了：雍正将他的头号死敌们——手足弟兄——都治死了、幽囚了，并且穷治党羽，芟殆尽。同时，雍正对他老子作下的孽、给“奴才”们拉下的亏空、筑下的债台，也概不认账，要彻底清结。
糟糕极了的是：曹、李两家不但都是大“亏空家”，而且又都和雍正的死敌发生过往来的关系。于是，他们虽然只不过是包衣奴隶，雍正也绝不肯轻易地放过他们。
雍正上来，先就是查亏空。李煦所亏织造库帑金四十五万两，令罢官，以家产抵十五万两，两淮盐商代完三十余万两，得清。曹寅此时早已前卒，独子曹曾继任江宁织造，也不久病故，奉康熙之命而过继的侄儿曹正在再继任；曹寅生时盐政亏空曾达五百二十余万两！曹时，李煦代为完结织造、盐政两项亏空五十四万九千六百余两，称言俱已清结，可是到雍正二年曹时候，大年新正，就还在具摺“九叩恭谢”雍正准他分三年补清织造钱粮的“天恩”（其前一年，两淮巡盐御史曾又举出按新规章应向曹追还银子四万五千余两，不知曹摺即指此项，还是另有别情）。可见其“罪孽深重”，已难拔足于那种“茫茫债海”之中了。
而曹雪芹，这不肖之子孙、不祥之异物，就正是在这“茫茫债海”之中而出世的。
不过无论如何，曹、李两家总算都把债务对付过去了，家道虽因此而落，却并未遭到其他罪罚。遭到罪罚的，乃是又过了两三年，另因“他事”而横罹逆祸。
这“他事”，就是在雍正五年先则已经罢官的李煦被发现曾于康熙五十二年花八百两银子买了五个苏州女子送给“阿其那”而要处斩，后则尚任织造的曹因屡忤“圣意”、藏匿财产而被革职抄家，抄家以后又查出他衙门旁边藏有“塞思黑”所铸的六尺来高的镀金狮子一对！——这“阿其那”，就是胤；“塞思黑”，就是胤：两人正都是雍正的弟兄兼死对头、眼中钉（俱已于前一年毒死了）。
因此，曹、李就都变为“奸党”，是雍正所决不能轻轻放过的。结果，李煦幸而免除一死，孤身流往“打牲乌拉”（黑龙江）苦寒之地，缺衣少食，只有佣工二人相依为命，当时的人说：“今乌喇得流人，绳系颈，兽畜之。”两年后因冻饿折磨病卒；曹则抄家封产，田地、房屋、奴仆，都赏了别人，所封钱财，只银数两、钱数千，外有当票一百多张、值千两银子而已。——以致雍正闻报，亦为之“恻然”。
这就是两家包衣奴才的下场。
曹雪芹这时约不过五岁年纪，小小的心灵上，深深地烙上了这种可怖的印象。
曹这次除了抄家以外，是否还有别的，如治罪入狱等等，现在文献尚无可征；但仅仅抄家一事，也就够可怕了。清代抄家的“制度”如何，官家自不肯明言，私家更不敢有所纪录，但是这办法也是沿袭明朝的“传统”而来的，所以那“制度”也基本无异，如谈迁在《枣林杂俎》中所记：“国初抄法：令各处抄人口家财，解本处卫所，成丁男子同妻小，收军充役，其余人口给与官军为奴。金银珠翠本处官司收贮，年终类解。马匹令本卫收养，给与骑卒；牛只给与屯卒。无屯处，并一应孳畜，粗重物件，尽行变卖，值钱于有司该库交收。犯人家产、田地外，内有坟茔，不在抄之限。”明朝人也有描述抄家的，现在引一段以资旁参：“自抄没法重，株连数多：坐以转寄，则并籍家资；诬以多赃，则互连亲识；宅一封而鸡豚大半饿死，人一出则亲戚不敢藏留。加以官吏法严，兵番搜苦，——少年妇女，亦令解衣；臣曾见之，掩目酸鼻！此岂尽正犯之家，重罪之人哉？一字相牵，百口难解，奸人又剩机恐吓，挟取资财，不足不止。半年之内，扰遍京师，陛下知之否乎？愿慎抄没之举，释无辜之系，而都下之人心收矣！”这对雍正来说，却正“对景”，因为雍正初年，抄家之风特盛，以致他自己在“上谕”里也曾供认：“朕即位以来，外间流言有谓朕好抄人之家产……”，那话真实不虚。单看“宅一封而鸡豚大半饿死，人一出而亲戚不敢藏留”两句，也就足见那情形是多么残酷可怕了！
皇帝抄人的家，原是“一举两得”的事，除了“惩恶”，还可发财（所以嘉庆抄和，就曾特意表白他并不是“好货之主”云）。雍正之抄曹，听说只有当票百张和些“桌椅床杌、旧衣零星等件”而为之“恻然”，实际也包含着“败兴”、“错估”等心情在内，——因为当时人都认为作织造、盐政的最是“有钱的主儿”，印象中的曹家更是“家资巨万”的“豪富”。及至发现事实相去很远，未免又因此而转生“可怜”之心，这才吩咐，给曹在京“少留房屋，以资养赡”。只因这一来，曹家保存了一部分房子，和若干“人口”（就是婢仆等人），所以并未完全陷于绝境。
这就是曹雪芹从出生以来所经历的第一次巨变。