曹雪芹长到18岁，按规矩要到指定的地方去当差服役，他曾被派到一所雍正下令专为“教育”内务府子弟而建立的一所“包衣专校”去做过笔帖式和堂主事。由于言行不守“正规”，惹恼了上司，曹雪芹很快就被“罢职丢官”了。从此，他便转入了一个十分困难的流浪的时期——这种处境成为了他后半生的真实写照。
曹雪芹是一个公子哥儿出身的人，完全不懂得生计的事，也不会另想经营之门路，甚至连衣食也不能自理，是个需人服侍的“废物”。这就是他自谓的“天下无能第一”了。他很快就陷入了缺衣少食，举目无亲的困境。在极端困窘的情况下，他发出了“富贵不知乐业，贫穷难耐凄凉”的感慨。为了生存下去，他只好求亲告友，忍辱受贬地求一个寄食借住之地，暂且勉强苟活。他首先想到了大表兄平郡王府，尽管有姑母的怜爱，在这里，曹雪芹还是受尽了难堪之言，遭受到下边人无数的白眼……这些世态炎凉的人间相，一一展现在他的眼前。等到1748年，平郡王逝世了，曹雪芹又恢复了以前的窘境，无奈之下，他只好告辞姑母家，投到了自己的岳家。然而他在岳家的经历并不很愉快。其情形或许正如《红楼梦》中封肃对待他的女婿甄士隐那样：
今见女婿这等狼狈而来，心中便有些不乐……士隐乃读书之人，不惯生理稼穑等事……肃每见面时，便说些现成话；且人前人后，又怨他们不善过活，只一味好吃懒做等语。士隐知投人不着，心中未免悔恨……
这种局面没有维持多久，曹雪芹就因妻子的突然逝世而与岳家断绝来往了。在无亲友可投时，曹雪芹不得不过着风餐露宿的生活，为了糊口，他不得不靠写小说来维持生计，他甚至穷到连写小说的纸张都没有，就只好把旧书拆开，翻转了叶子做稿纸，夜夜独自挑灯写作。比寄食生涯稍好一些的，是他后来有了在富贵人家做“西宾”的机会。因为他才学最富，时常为人称道，于是被“明相国”府请去做了西宾。但曹雪芹放诞不拘的性格，很快便招来了诟病，再加上旁人的嫉妒，污蔑他“有文无行”，不久，他就被辞掉了。
在做西宾时，曹雪芹已经开始了《石头记》的写作工作，不少人爱看他的书稿，及至看不到下文时，就来催促他快些接写下去。每当此时，他就对催书的人说：“你给我弄来南酒，烧鸭，我吃饱喝足，就给你续写下一回！”此时的雪芹形貌已经变得体胖、头广、面黑了。性极诙谐，善谈，能令听者终日忘倦。他的小说里写的名王府第，都是实有的，只是掩换了名称。曹雪芹在无衣无食之际，他自然也曾忍耻求告过自己的骨肉同胞和至亲近戚，但是得到的是侮谩多于帮助。这使他回想自身所受的轻贱。他在小说中特写一个村妪到荣国府去攀亲求助的经历，这位贫苦老妇人却得到了她所不敢想象的厚待。在这回书的前后，各有诗句：
朝叩富儿门，富儿犹未足。
虽无千金酬，嗟彼胜骨肉！
得意浓时易接济，受恩深处胜亲朋。
这无疑是间接地反映了作者在这方面的切身体会。“炎凉世态”，乃是他书中的主题之一大方面。
在北京城里只能住马厩和“水窝子”的曹雪芹，终于不得不离开京城，到郊外去另谋生路。他出了西城门而远至香山脚下，这个住处，友人称之为山村，秋天则成为“黄叶村”。一条小“巷”，四周围长满了蓬蒿野草，高得像要把房屋掩起来。门前是一片野水，出门一望，就是近在眉睫的碧水青山。环境优美，但房子却极为破陋矮小，曹雪芹自己也说是“茅椽蓬牖，瓦灶绳床”，起码的家具也没有，那种贫困的情境，城里的人难以想象。虽然环境清苦，但生活在这里却觉得颇为闲适恬静。