克里姆林宫的大火已经无法征服，拿破仑不得不撤离莫斯科。他穿过烧焦的门，狼狈不堪。除此外，法军中不少高级将领对日渐迫近的冬日都颇为恐惧，于是纷纷建议撤出莫斯科。
18日，老天爷帮了拿破仑一把，降了一场雨，火势被雨扑灭了，拿破仑又回到了克里姆林宫。在这场大火后，拿破仑了解到俄国人的斗争之心是多么坚决，他决定诱使俄国提议停战讲和，尽快结束这场遥遥无期的可怕战争。他派特使几经周折找到库图佐夫，谁知这位总指挥却不加理睬。拿破仑处于进退两难之地，不得不宣布一个决定：法军在莫斯科过冬。他下令军队向城里运送过冬需要的物资，加强防御的工事，并下达了从法国和波兰招募新兵的命令。尽管很多人都警告过他，用尽各种词语来形容莫斯科的恐怖严冬。
直到10月8日，缪拉的骑兵在离莫斯科50英里的地方又受到俄军突袭，伤亡了不少士兵。拿破仑才终于意识到莫斯科是不可久留之地，便下令大军团开始撤出此地。
由于冬季的到来，拿破仑大军团的撤退，变成了一个做不完的噩梦。大军团的兵力已锐减至6.5万人，其中包括1.5万骑兵。由于库图佐夫突然改变战略，反而对法军穷追不舍，结果11月3日，两军在维亚泽玛恶战一场，法军伤亡5000人。11月5日，天降大雪，这更加剧了撤退的困难。由于法军未像俄军那样在马蹄上钉防滑钉，以致法军战马越过冰冻的江河湖沼时，常常摔断马腿。
11月6日，法国军队撤到了多洛哥布什，能够作战的人数只剩下将近5万人。就在这时，巴黎传来了马莱将军发动骚乱的消息。这件事情对拿破仑产生了强烈的影响，他意识到自己必须回巴黎去。11月9日，拿破仑到达斯摩棱斯克。他认为停留在斯摩棱斯克是不可思议的，必须在俄军截断渡口之前通过别列金纳，不然的话，他和其余部队都有被俘的危险。
天气更加寒冷了。离开莫斯科的时候没有携带保暖的过冬物品，这是进军开始时就存在的一个致命的疏忽。法军不得不丟掉大部分辎重车和一部分大炮，整队的骑兵连都必须下马步行，因为马匹的死亡日益增多了。而此时俄国游击队和哥萨克却越来越勇敢地对法军先头部队和掉队的敌人展开攻击。
在离开莫斯科的时候，拿破仑有将近10万人，11月14日离开斯摩棱斯克的时候，他的军队仅剩下3.6万人，还有几千名掉队的和逐渐赶上的人。现在拿破仑下令烧掉一切车辆，以便能够拖带大炮。11月16日，俄军在克拉斯诺耶攻击欧仁·博阿尔内的军团，法军遭到了很大的损失。第二天战斗重新展开。法军被击退，两天之内损失了将近1.4万人，其中将近5000人被打死和打伤。与军队失去联系的内伊在遭受惨重损失之后，和剩下的3000人被库图佐夫的大部队逼到了河边。晚上，他想步行穿过克拉斯诺耶北边的德涅泊河，但是因为冰层还不厚，很多人掉到水里淹死了。内伊和几百名士兵得了救，他们迅速逃往沃尔夏。
这时，拿破仑又犯了一个错误：他费了很大的气力来整顿军队的纪律和组织供应，但忽视了加强明斯克方面的交通线。承担保护明斯克任务的波兰部队没有很好地执行他的命令。11月16日，俄军奇恰果夫占领了明斯克，拿破仑储藏在这里的大量粮食落入敌人手中。
法军所面临的局面足以令人绝望。俄方维特根斯泰因从北面向拿破仑逼近，法军乌迪诺元帅和维克托元帅没有阻挡得住。齐恰果夫占领了明斯克后，又向波里索夫袭来，把退守这里的波兰部队赶走了。俄国普拉托夫和叶尔莫洛夫的部队离法军只有一到两昼夜的路程了，他们是库图佐夫的先头部队，法军马上就有被包围和被逼投降的危险。波里索夫有一座永久性的大桥，但它失守了。
拿破仑听到这个消息后，脸都吓白了，但他马上克制住自己，命令立即寻找别的可以架桥的地方。波兰的枪骑兵在波里索夫北面的一个叫斯土江喀的地方找到了一片浅滩，拿破仑决定在这里渡河。但他们故意装出仍想在波里索夫渡河的样子，11月23日，法军袭击了奇恰果夫，逼他退出了刚刚占领的波里索夫，但仍停留在附近。维特根斯泰因从北方匆忙赶来帮忙，俄军以为拿破仑肯定要在这里渡河。
11月24日，拿破仑听闻了一个让他大为震惊的消息：南方俄军抢占了别列金纳河上的桥梁，这座桥是法军的安全所系，大军要从俄国撤退，必定要渡过此桥，乌迪诺竭力奋战，也未能夺回，只能眼睁睁看着俄军将桥烧毁。
然而，拿破仑于11月26日拂晓到了斯土江喀，士兵立即站在浮冰飘流的、齐腰深的河里架设了两座浮桥，法军整个26日和27日都在渡河。右岸的俄军试图攻击已经渡过河的法军，但被法军击退了，等维特根斯泰因赶到那里时已经晚了，法军逃过了全军被俘的厄运。
拿破仑命令，渡河以后立即烧毁浮桥。由于正规部队的阻挡，大部分掉队的士兵仍留在左岸，被拿破仑抛弃的掉队士兵有1万人之多。
渡河的时候，天气已经转暖，河都解冻了。而接下来的日子，天气又转为寒冷。突然袭来的寒流使气温骤降，疲于奔命的法国士兵又受到饥寒交迫之苦，但是，法军队伍没有因此而停止行进，士兵们越过死去的、半死的和虚弱得无力行走的人，又聚拢在一起继续前进。库图佐夫的部队也在行进着，他们艰难地紧紧跟在法军的后面。在这种情况下，拿破仑特别害怕库图佐夫的进攻，哥萨克和俄国游击队的攻击也是拿破仑所不堪忍受的。
渡过别列金纳河之后，法国军队的人数就更少了，这不仅是因为寒冷，还因为沿途不断进行的小规模的战斗使法军士兵大量伤亡。拿破仑为了转移奇恰果夫的注意力而命令巴尔士诺师团留在波里索夫，但他们遭到了库图佐夫的攻击，经过两天的战斗之后，巴尔士诺的4000名士兵只剩下一半多一点。他们四面被困，结果投降了。
在维尔纳附近，法军残部经过战斗，总算逃脱了覆灭的命运，他们到达该城时已经狼狈不堪了，同时还受尽寒冷和疲惫的折磨。法国士兵一进入该城就疯狂地抢劫一切可以抢劫的地方，商店、仓库、居民家，这种骚乱持续了好长一段时间，前面的队伍抢完了，后面的队伍又接着抢。
但是有的法军部队还保持着一定的战斗力，在离维尔纳不远的地方，内伊和梅松向正在迫近的俄军发动了猛烈的炮攻，使俄军追击部队的主力在几天之内削弱了不少。
部队仍然在前进，法军几乎没有做任何停留就抢渡了涅曼河。可怕的莫斯科之旅总算结束了。
12月18日，拿破仑一行到达了杜伊勒里宫，他没有受到人们的夹道欢迎，因为巴黎正笼罩在悲痛中，成千上万个家庭在为葬身疆场的儿子而哭泣。
此次战役，法军有51万人参加对俄战争，后来又增援了15万人。到年底，部队剩余总人数不超过3万人。他们多数是留在路上没有到莫斯科的那部分士兵。其余有10万人被捕，剩下的人则死于战斗、饥饿、寒冷和疾病。但拿破仑并未为铩羽而归而气馁，对于东山再起他充满信心，并说道：“人生的光荣，不在于永不失败，而在于屡败屡起！”
兵败莫斯科，虽然拿破仑一再地将原因归为寒冷，但实际上，那年的莫斯科却较往年暖和。这无疑表明了拿破仑的军事才能开始衰退，但并未衰竭。总之，其不可战胜的神话彻底破灭了。