斯大林加紧战争准备，各种新式武器装备研制并生产出来，迅速地准备到军队中，加紧培训军官。由于大清洗，军队的高级指挥官奇缺，从被清洗的军官中又召回4千人，他自己每天工作16小时，研究战略战术，组织教官等问题。让总参谋部制订国家防御计划和武装部队部署计划。总参谋部的华西列夫斯基先后两次制订出防御计划，他把红军主力部署在西线，计划呈报给斯大林。斯大林不同意这个计划，令其重新制订。第三次，总参谋部把主力部署在西南面，斯大林同意了。事后证明，华西列夫斯基的前两个方案是正确的，因为斯大林的失误，使战争初期苏军为此付出了惨重的代价。
希特勒已经准备好进攻苏联，各种消息源源不断地送到斯大林那里。斯大林不相信，也不愿意承认战争马上就会爆发，他希望再拖上几个月，部队没有进入战争状态。但是，1941年6月21日夜间，朱可夫从基辅打来的电话里获悉，一名德军司务长越过了边防线对苏军指挥员说，德国军队将在次日凌晨发动进攻。朱可夫立即给斯大林和铁木辛哥打电话。斯大林把他们召到克里姆林宫。斯大林听了朱可夫报告后的第一个反应是：“也许是德国将领把这个逃兵送过来，是为了挑起冲突。”“不，我们认为这逃兵说的是真话。”他们回答说。
政治局委员都来了，斯大林询问他们的意见，但是没有回答。沉默一阵后，铁木辛哥说话了：“应该立即命令边境军区所有部队进入一级战备。”朱可夫把在总参谋部队订的命令读了一遍。命令强调必须根据打退敌人进攻的作战计划采取坚决行动，但斯大林仍没有放弃他的希望，以为这也许是一场虚惊。他说：“现在下达这样的命令还太早，也许还可以和平解决。”斯大林让人重新起草命令，发往列宁格勒、波罗的海西部、基辅和敖德萨各军区的前线部队，要他们立即做好准备，准备抗击德国可能发动的突然袭击。
1941年6月22日0时30分这项命令下达完毕，但许多集团军尚未接到命令时，德军已发动了全线进攻。
德国以162个师，30万人，3400辆坦克，7000门火炮分3路进军：北路指向列宁格勒、中路指向莫斯科、南路指向乌克兰，向苏联发动进攻。苏联就是在这种背景下仓皇应战的。
德国的大规模突然进攻，出乎斯大林的意料之外。由于他判断和部署的失误，使苏联遭受极大损失。
通信联络中断，莫斯科几乎失去了同各军区之间的联络。斯大林和他的统帅部并不知道，在战争第一天，苏军共损失了1200多架飞机，大部分飞机是被德军炸毁在机场上的。德军掌握了制空权并从宽约1500公里的广大地区向苏联发起正面进攻。德国的坦克部队和摩托化步兵师潮水般冲向苏联各边防要塞和城市。苏军在边境地区的军用仓库、武器弹药及其他军需物资，几乎全部落入德军手中，苏军官兵虽然奋力反击，但无法阻挡德军的快速推进。在战争的头几天，苏联西部边境各条战线都是乱糟糟的，有时简直是一片混乱。统帅部不断发出新的指示和命令，但这些指示和命令又都落后于急速变化的形势。在战争的头五六天里德军就深入了苏联国土150～200公里。
斯大林心情沮丧，甚至有些慌乱，但他很快从消沉的情绪中摆脱出来，振作起来，重新负起他身上的重任。为了摸清前线情况，他命令大本营的朱可夫大将到西南方面军、沙波升尼科和库利克元帅到西方方面军。
6月28日，德军在明斯克完成合围，苏军43个师又3个旅被围歼于明斯克，傍晚，白俄罗斯首府明斯克失守。斯大林沉痛地说：“列宁亲手缔造了我们的国家，而我们大家却把它误了！”
为了战争的需要，斯大林亲自兼任了国防人民委员，稍后，又亲自担任苏联武装部队最高统帅。斯大林集党、政、军大权一身，这在战争时期是必要的。斯大林命令将工业向东转移，根据这个命令，1500多个企业其中包括1300多个庞大军工厂，向后方疏散。这些工厂很快就完成迁移，并又很快地恢复生产，这为以后的战争胜利打下了深厚的物质基础。
德军攻破了列宁格勒以东20公里的筑垒区。9月8日，攻占了拉多加湖畔的计利湖利堡。列宁格勒被德军包围，列宁格勒居民开始了近500天的保卫战。
在西南方向，德军的南方集团军群从利沃夫出发，直逼乌克兰首都基辅。朱可夫紧急求见斯大林，向斯大林汇报总参谋部的作战方案，建议加强中央方面军，建议把西南方面军撤到第聂伯河以东。斯大林问道：“基辅怎么办？”朱可夫坚持己见：“基辅不得不放弃。”斯大林发火了，他高声说道：“把基辅交给敌人，亏你想得出来。”朱可夫委屈地回答说：“如果你认为我这个参谋长只会胡说八道，那么还要我干什么？我请求解除我的总参谋长职务，把我派到前线去，我在那里可能对祖国更有好处一些。”
“请你冷静些，”斯大林说：“再说……如果你这样提出问题，那么我们缺了你也能行……你去工作吧，我们一会儿叫你来。”大约半小时后，朱可夫被召去。斯大林说：“我们商量了一下，决定解除你的总参谋长职务，由沙波什尼科夫接任。他的身体确实不太好，但没有关系，我们可以帮助他。”
斯大林接着问朱可夫，愿意上哪，并同意由他来指挥他所提议的对叶尔尼亚突击部的反突击。
朱可夫要求离去时，斯大林微笑地请他一起坐下喝茶。他珍惜朱可夫的帅才，尽可能消除他的情绪，斯大林提醒他，他仍然是副国防人民委员和最高统帅部的成员。
在整个二战期间，朱可夫是斯大林最得力的助手之一。他被频繁地调来调去，他指挥了莫斯科保卫战，列宁格勒反击战……他为祖国立下了大功。二战中，他成了最声名卓著的苏联元帅。
朱可夫的计划是正确的，但斯大林没有采纳他的建议。斯大林打电话给西南方面军司令员基尔波诺斯，要他不惜一切守住基辅。经过1个多月的苦战，基辅还是陷落了。基尔波诺斯战死沙场，苏军被围歼60～70万人。
战场上的胜利鼓舞了希特勒，他集中优势兵力准备在入冬前占领莫斯科。在莫斯科前沿的苏联西方方面军、预备队方面军、布良斯克方面军和加里宁方面军英勇奋战，到10月6日还是被围困在维亚泽马地区，经过几次突围均告失败。10月10日，60万苏军在维亚泽马覆没。13日，德军已挺进到离莫斯科不到100公里的地区，莫斯科面临现实的威胁。斯大林命令立即撤退主要的社会活动家和国务活动家。政府迁往古比雪夫，各大企业一律布雷，但他仍希望会有良好的结局，因为西伯利亚和远东的援军已经登车。
敌人的逼近和大规模的撤离一度在市民中引起恐慌，关于斯大林和政治局已经离开莫斯科的谣言也流传开来。10月17日，中央委员会书记向全国广播说，斯大林本人就在莫斯科，他严厉地斥责了要放弃莫斯科的谣言。斯大林留在莫斯科的消息鼓舞了人民。“绝不放弃莫斯科”，“我们无路可退了”成了对每个苏联人的崇高的爱国主义的命令。秩序很快得到恢复，街头呈现出沉着坚定的气氛，首都准备战斗到底。
贝利亚曾向斯大林报告说，在莫斯科近郊某车站已为他准备好一辆专列，还有大本营的四架飞机也已经准备就绪，其中有一架是斯大林的专机“道格拉斯”。斯大林一言不发，他深知，只要军队、人民知道斯大林在莫斯科，就会给他们增添信心，他决心留在莫斯科直到最后一人。
1941年11月6日是十月革命纪念日，庆祝活动安排在地下铁道的马雅可夫斯基车站举行，斯大林在会上发表了讲话并立即广播发表。在首都岌岌可危的时候，斯大林的演讲具有不同寻常的意义。
斯大林说：在反法西斯战争中，苏联并不孤立，英国和美国已表示支持。……问题在于，现在欧洲大陆上没有任何一支同德国法西斯军队作战的英国或美国的军队。因此德国人不必分散自己的力量，不必在东西两个战场上作战。
他用充满激愤的语调说：“这一群丧尽天良、毫无人格、充满兽性的人，恬不知耻地号召消灭伟大的俄罗斯民族，消灭普列汉诺夫和列宁，别林斯基和车尔尼雪夫斯基、普希金和托尔斯泰……苏利科夫和库图左夫的民族！德国侵略者想对苏联各族人民进行歼灭战。好吧，既然德国人想进行歼灭战，他们就一定会得到歼灭战！今后我们的任务就是把侵入我们祖国领土的所有德国人——占领者一个不剩地歼灭掉……”
在这些关键的日子，斯大林非常重视从精神上鼓舞苏联人民必胜的信心。他决定第二天照常举行传统的阅兵式。
11月7日，斯大林在红场检阅了部队，听他演讲的部队随即开赴前线。斯大林在讲话中最后号召：“你们进行的战争是解放战争，正义的战争！让我们伟大的先辈……英勇的形象在这次战争中鼓舞着你们，让伟大的列宁的胜利旗帜引导你们，消灭德国占领者！我们光荣的祖国，我们祖国的自由，我们祖国的独立万岁！在列宁的旗帜下向胜利前进！”
斯大林在11月6日和7日的两次讲话的文本迅速在军队和人民中散发。每个苏联人都如饥似渴地阅读了斯大林的讲话。这些讲话极大地振奋了军队和老百姓的士气，它表达了他们对自己祖国的热爱和对残暴、狂妄的敌人的仇恨，同时也产生了重大的国际影响。
11月15日，德军再次向莫斯科发动攻击。德军不顾一切，不惜一切代价，用坦克在前头开路，妄图冲进莫斯科。德军的先头部队已冲到离莫斯科20公里远的地方，指挥官用望远镜已能看到克里姆林宫顶端的红星了。斯大林打电话给朱可夫：“你坚信我们能够守住莫斯科吗？我怀着内心的痛苦在问你这个问题，希望你作为共产党员诚实地回答。”
“毫无疑问，我们能够守住莫斯科。但是至少还需要增加2个集团军和200辆坦克。”朱可夫答道。
“你能有这样的信心，这不错。你打电话到总参谋部去接洽一下，看把你所要的2个预备队集团军集中到哪里。他们在11月底将准备好，但是坦克现在还不能给。”
苏军的顽强抵抗迫使德军未能再前进一步。德国的进攻也就慢慢停了下来。敌人一停下来，斯大林、朱可夫和铁木辛哥就立即计划冬季的反攻。
11月30日铁木辛哥发起了进攻并收复了罗斯托夫，他准备进攻德国中央集团军的侧翼，斯大林表示同意。
12月5日、6日，加里宁方面军、西方方面军、西南方面军相继转入进攻，并取得了惊人的成功，把德军向西击退了150公里，解除了对莫斯科的包围。希特勒遭受了第二次世界大战以来的第一次大失败。
1942年，苏军向德国发动总反攻，但是由于没有足够的预备队和炮兵支援，苏军又受到了一些挫折。在南部、塞云斯托波尔、哈尔科夫等地遭到失败。5月，苏军在刻赤、哈尔科夫相继兵败，7月塞瓦斯托波尔失守，苏军损失惨重。
1942年8月底，苏军已经撤退到斯大林格勒防御区的中心。为了加强斯大林格勒大会战的指挥，斯大林把朱可夫从西线调开，同时任命他为副最高统帅。
9月3日，希特勒的一个坦克兵团冲到了斯大林格勒郊区，当华西列夫斯基向斯大林报告形势时，斯大林打断他的话：“你们怎么不懂得，如果我们放弃了斯大林格勒，我们的南部同中部的联系就将被切断，我们还能保持住南部地区？在那里的人员是否懂得，这不仅是斯大林格勒的灾难，而且还会失去一条水路干线，不久还将失去石油！”
华西列夫斯基回答说：“斯大林格勒城下一切还能作战的力量，我们都调集到危险地段上去了，我想，捍卫住城市还有可能。”
但斯大林不放心，他立即口授命令给朱可夫：“……敌人可能在今天或明天就把斯大林格勒拿下来。请您要求斯大林格勒以北和西北各部队的司令立即对敌人发动突击，支援斯大林格勒人……”
随后几天，朱可夫从北面组织了几次攻击。但是由于没有得到炮兵和空军的有力增援，这几次攻击没有取得明显效果。
9月10日，朱可夫用电话向斯大林报告说：“以斯大林格勒方面军现有的兵力，我们不能够突破敌人的走廊并与东南方面军的部队在市区会师。德军由于从斯大林格勒附近新近调来的部队，敌人的防御正面相当强大了。以现在的兵力和部署继续冲击是没有用的，而且部队必然要遭受重大的损失。