芳汀回乡时，正是马德兰先生的生意蒸蒸日上的时候。她很快被收录到妇女车间，衣食总算有了着落。她不仅能每月给珂赛特寄钱，还以将来的工资为担保，赊了些家具。
自食其力是一件多么开心的事啊！但芳汀还是有一些顾虑，因为她可不能让人知道她有一个私生女，要不然，她就会因道德败坏而被踢出工厂。
好景不长。她的美貌引起了女工们的嫉妒，人们开始在背后议论她：
“哼！她自以为长得有多漂亮！”
芳汀还没察觉人们对她的闲话，她还蒙在鼓里做梦呢！
“只要一积到足够的钱，我就将宝贝女儿接回来。”
珂赛特在芳汀的心目中是如此的重要，她每月都要请一个老先生给女儿写至少两次信。在厂里工作的时候，一想起自己的女儿，她就背过脸去偷偷地哭起来。
这一切引起了一个爱管闲事的老太太的怀疑，她把写信的老先生请了出来。那老先生一沾到酒就将所有的秘密倒了出来：
“她有一个丫头，是私生的。”
消息一传十，十传百，这下糟了。有一天芳汀被请到了办公室。
“现在全厂的人都在议论你，你知道吗？”管理员问。
“这……”芳汀惊呆了。
“对不起，我们不得不辞掉你。”管理员说，“这是马德兰先生订下的规定。”
这个可怕的消息打得芳汀怔住了。这可怎么办！就是在这个月，德纳第夫妇刚要求抚养费提到15法郎，而且她还欠着房租和买家具的钱。
现在，她的事已满城风雨了，在保守的小城，没有人想雇佣她。好不容易，她才再找了一份工作，给士兵做粗布衣裳，但报酬很少。就从这个时候起，她就不能按时寄钱给女儿了。
在这样的环境中，女儿珂赛特是她惟一的支柱，为了女儿，她什么苦都能忍受。为了省蜡烛，她借着窗户的光亮吃饭；为了省钱，她把旧被单改成裙子穿……更为要命的是：她一出门，就有人在背后指指点点，人们对她的蔑视态度就像寒风一样刺入了她的肉体和灵魂。
她开始怀疑起这个世界来。
“我在巴黎犯下的错误已经得到报应，为什么这儿的人还不肯原谅我。”她经常望着天空自言自语。现在她恨这个世界，因为上天对她太不公平了，她也恨马德兰市长，她认为是他将她从工厂中赶了出来。
就这样，芳汀在痛苦的泥泞中又挣扎地过了一年。
对于芳汀的情况，德纳第夫妇一无所知。他们依旧将珂赛特当作摇钱树，千方百计地利用她从芳汀身上榨出钱来。又是一个冬天，他们写信给芳汀，说是珂赛特需要一条羊毛裙，至少要寄十法郎来。可怜她母亲拿着信无计可施，到了黄昏的时候，她到了街角的一个理发店，取下了梳子，一头令人赞叹的金发一直垂到了腰上。
“太太，您的头发真是太美了。”理发师发出了，由衷的称赞。
“那么它值多少钱？”
“十法郎吧。”
“那就剪吧。”
母亲几十年的骄傲换成了女儿的裙子。然而德纳第收到裙子时火冒三丈，他要的是钱。他立刻将裙子给了自己的大女儿，而珂赛特依然挨冻。
一计不成，德纳第又生一计。他又写信给芳汀，新编了一套谎言：
“珂赛特病了，患了一种地方病。必须吃贵药。一周之内您不寄来四十法郎的话，小姑娘就死定了！”
可怜的母亲早已身无分文，她急得团团转。忽然一个念头从她脑中闪过，她不禁打了个寒战。她记起了今天在广场上见到的事。
当时，广场上停着一辆奇怪的马车，一个穿红衣服的男人正站在车顶上叫卖着他的假牙。他吹得神乎其神，芳汀不禁笑了起来。那个眼尖的男人看见正咧开大嘴笑的芳汀，就高声说道：
“姑娘，你的牙齿真漂亮。肯卖的话我出四十法郎。”
“真残忍！”芳汀忍不住答道。
“四十法郎啊！你要是愿意，就到‘银甲板’客栈找我……”
芳汀捂住耳朵逃开了。
现在，她又看了看德纳第的信，脑子里映出珂赛特的影子，她仿佛正躺在床上，挥着小手向她求救。芳汀咬了咬牙，转身走出了屋子。
第二天，早起的邻居发现芳汀房间的门没关。走进一看，芳汀正呆呆坐着，看着桌上的一堆钱发神。
“天，芳汀！你哪弄到这么多钱？”
“四十法郎。反正我弄到它了。”
芳汀有气无力的回答，她看着钱露出了一丝苦笑。这是流血的笑，淡淡的血水从她嘴角流了出来，她的口中出现了个可怕黑洞。
两颗门牙拔掉了，换成了四十法郎。
残酷的现实一步一步地将芳汀向绝望的边缘推去，芳汀渐渐地有点精神失常了。经常莫明其妙地笑起来。她的身体也越来越差，经常感到头昏目眩。她没有办法接过多的活，而逼债的人催得又狠，她再也没有办法给女儿寄钱了。
就在这个时候，德纳第又来信了。
“我们对珂赛特已仁至义尽了。你还欠我一百法郎呢！再不还清的话，我就把她赶出去，哪怕是让她饿死，冻死。”
这成了压在芳汀身上的最后一根稻草。
“豁出去，全卖了吧！”她绝望地对自己说。
这个苦命的女人当了妓女。