曹雪芹小时候最爱听西洋人讲外国故事。有一位英国丝绸商人名叫菲利浦·温士顿的，到了南京，结识了曹兆页，二人相交颇为投机，曹兆页请他传授西方的纺织技术，在交往的时候，东道主经常即兴赋诗，以抒情怀。作为酬谢，菲利浦就讲一些《圣经》故事，或者莎士比亚剧本的故事给主人听，经常讲得绘声绘色，引人入胜，于是就吸引得曹府上上下下都在偷偷地传述着西洋故事。在菲利浦来访的日子，小雪芹经常偷偷地走到附近入迷地窃听那些动人的情景。当曹父获知此事时，十分生气，恼恨这个不听话的孩子的越轨行为，于是把小雪芹狠狠地打骂了一番。这段情景，被曹雪芹写到了《红楼梦》中宝玉受虐待上。小时的雪芹由于经常违反定规，所以总是备受打骂，因而他在描写贾父痛打宝玉的时候，才能把其时、其情、其景写得栩栩如生：
宝玉急得手脚正没抓寻处，只见贾政的小厮走来，逼着他出去了。贾政一见，眼都红了，也不暇问他在外流荡优伶，表赠私物，副淫母婢，只喝命“堵起嘴来，着实打死！”小厮不敢违，只得将宝玉按在凳上，举起大板，打了十来下，宝玉自知不能讨饶，只是呜呜地哭。贾政还嫌打的轻，一脚踢开掌板的，自己夺过板子来，狠命地又打了十几下。
宝玉生来未经过这样苦楚，起初觉得打的疼不过，还乱嚷乱哭，后来渐渐气弱声嘶，哽咽不出。众门客见打的不祥了。赶着上来，恳求夺劝。贾政那里肯听？说道：“你们问问他干的勾当，可饶不可饶！素日皆是你们这些人把他酿坏了，到这步田地，还来劝解。明日酿到他杀父杀君，你们才不劝不成？”
一见王夫人进来，更加火上浇油，那板子越下去得又狠又快。按宝玉的两个小厮，忙松手走开，宝玉早已动弹不得了。贾政还欲打时，早被王夫人抱住板子。贾政道：“罢了，罢了！今日必定要气死我才罢！”王夫人哭道：“宝玉虽然该打，老爷也要保重。且炎暑天气，老太太身上又不太好，打死宝玉事小，倘或老太太一时不自在了，岂不事大？”贾政冷笑道：“道不要提这话！我养了这不肖的孽障，我已不孝；平昔教训他一番，又有众人护持，不如趁今日结果了他的狗命，以绝将来之患！”说着，便要绳来勒死。
（摘自《红楼梦》第三十三回）
就在小雪芹沉醉在各种各样动人故事中的时候，雍正五年（1727年），曹家在政治风浪中勉维残局的能力达到了极限——一系列的新事态发生了——曹氏一门终于家遭巨变！
仿佛就在一夜之间，小雪芹就成了犯官罪人的孽子孤童。此时的小雪芹才只有五岁，可是他的生活之路却走到了人生的第一个重大转折点。从此曹雪芹的京外生活也随着家道的衰败而结束。他不得不随着父亲的犯罪，被迫逮问还京，还“享受”到了浩荡的皇恩，住进了新拨给的恩赏住房。曹雪芹的北京新居，坐落在外城的东偏方向，崇文门外直对的南面，有一个叫蒜市口的地方。在这里，朝廷给曹家安排了一个小院子，属于北京最简单不过的“四合院”规格：正房五间，东西厢房各三间，南房三间，加上厨房、厕所或放置杂物的房间等，加起来正好有十七间半房屋，可以称之为“单细胞四合院”，尽管在当时是低级的住宅，但仍然是一个独门独户的封闭式宅院。尽管当时的曹家已成了犯官，但是曹家毕竟是内务府的旗人，与汉人还是有区别的。然而他们却没有了在北京城内居住的权利。当时的北京由内城外城组合而成。内城基本呈方形，是专由满洲旗家居住。外城在内城之南，以墙为界，呈长方形（东西长，南北短），由汉民居住。外城的房宅，与内城不尽相同，特点是比较狭小，十分拥挤，多为中下层人民聚居地，很少有像内城那样的大府巨邸。小雪芹生活在这样的地方，对他后来的成长起到了决定性作用。他从此远离了皇室、满族贵官、八旗武士等上流社会所带来的气氛，但是相应地他也就有了更多的机会与普通百姓和一些当时中下层社会的各式各样的人接触，看到形形色色职业的技艺。他居住的这个地方，对他日后萌发写作小说《红楼梦》有着密切的关系。
就在这种环境下曹雪芹到了上学的年龄。关于他的聪慧，人们有这样的传闻：“四岁已读毕四书五经！”一般说来，一个学生要读完这些艰深的书，快的也需要读到二十来岁。四岁就读完，这是不可想象的奇事！这似乎有点夸张，但是至少有一点是应该相信的：少时的曹雪芹赋性颖慧异常，远近闻名！
我们试着想象一下曹雪芹上学时的情景：
在王府的二门外前院里，一个跨院十分幽静，小小三间正房，一明两暗。进了正门堂屋，朝北立着一面雕刻的木龛，内中供着一面牌位，上面大书“大成至圣先师孔子之位”。龛前有供案，陈设着古色古香的祭器。学童进来，先要向牌位恭敬行礼：双手抱拳，将身躬曲向下，手随身屈到腹膝，然后躬身进入里间，先生靠山墙设一大案，案上有书，有文房四宝，以及不可少的戒尺。案后一大木坐榻，上设质地高雅而朴素的大靠背和极厚的大坐褥，老师可以舒适地端坐或倚靠，或盘膝或垂腿。学童一进屋，先要向先生深深地一揖，然后悄无声响地找到自己的座位坐好。学生到齐，老师才开始讲课。在这种条件下，曹雪芹受到了良好的文化教育，特别讨人喜欢的他见了人礼数周详，举止优美，凡是见过他的人没有不称赞的。特别是他进了学房，仪容款段，竟然超过了王公家的子弟，于此老师已是另眼看待，等到他一开始功课，更是让老师叹为奇才了。人们常常把那些聪明颖慧超众的人才用“一目十行”“过目成诵”等词语来形容他们的过人之处。对于小雪芹确实是这样的，清代书本的款式，一般是每行十六七个大号的汉字，智力不高的，每日学二三行书，还记不住。但是对小雪芹确实是一目数行俱下，只念两遍，就能背诵如流了。同时令人可喜的是，他不但学得快，而且有极高的悟性——他能明白书中所讲的道理，得其精义，不是死背书。
终日死板地认字、背书是不能满足他的求知欲望的，很快曹雪芹就偷偷地转入了另一个新的阶段：即“杂学”的涉猎和追求。在那时候，读那些四书五经等经典文章，是为了做“八股”文章。在当时，除了这个算是正学以外，其他一切学问都被归到了杂学里面，自然身份也就不高了。曹雪芹最厌恶这种“八股”文章，这一点在他后来的小说里表现得十分清楚：把那些醉心于八股文的人，叫做“禄蠹”。他笔下的贾宝玉便“愚顽怕读文章”，天性不守正规的曹雪芹，很快对那些真正展露才华、抒写灵性的中国古代的诗文辞赋，以及被士大夫轻贱的民间通俗文学：小说、剧本、弹唱曲词等产生了浓厚的兴趣。他从各地借来杂书，广泛地涉猎、贪婪地汲取其中精华之处，这些书，为曹雪芹展开了一个丰富多彩的世界。于曹雪芹而言，不但是学识的源泉，也是教养的炉冶，文化的甄陶。特别是那些书中的“批点”对曹雪芹的影响更是不可估量。他尤为倾心金圣叹的批点，经常为之倾倒，忍不住拍案叫绝。