虽然在1941年的头几个月里德国和苏联表面上还保持着亲切的关系，但是紧张气氛却在日益增长。3月，保加利亚加入了轴心国，南斯拉夫也同意加入。然而，3月27日，在南斯拉夫爆发了反对亲德政策的暴动，结果成立了依靠莫斯科的新政府。斯大林不失时机地同南斯拉夫的新政权签订了友好和互不侵犯条约，可是当德国军队侵入南斯拉夫、无情地轰炸贝尔格莱德的时候，斯大林却无能为力。
此后苏联政府又作出了一系列的努力，试图竭力牵制住希特勒。苏联做出了亲善的外交和经济姿态，继续煞费苦心地设法防止任何像是挑衅的行动。1941年6月14日，苏联的通讯社塔斯社发表一个公报，强调了同德国的友好关系，说德国“和苏联一样坚定不移地遵守苏德互不侵犯条约的条款”，并且否认从伦敦散布出来的“两国在近期会爆发战争”的谣言。柏林方面对这些姿态置若罔闻。野心勃勃的希特勒早已经作出了自己的决定。
但是在1940年春天，德国人对西方发动了迅速的、胜利的闪电战；他们一举占领了丹麦、挪威；攻破了荷兰、比利时，在11天内粉碎了法国的陆军。德国人占领了欧洲的大西洋沿岸，作好了入侵英国的准备。由于在法国吃了败仗而溃散的英国军队，已经在敦刻尔克的海滩上丢弃了他们最优良的装备乘船逃回了英国。
这时希特勒突然从大西洋沿岸抽回了他的主力部队，跨过欧洲向东南方把它投入了巴尔干地区。希特勒后来举出的理由是：当苏联人正在他的后方随意取得领土的时候，他不能耗费入侵英国所必需的巨大力量。比萨拉比亚产物很丰富，它落入苏联之手一方面扰乱了希特勒的经济基地，同时也鼓舞了巴尔干的反纳粹力量。他必须首先肃清巴尔干半岛。
希特勒并没有预料到巴尔干地区的战役是一个长期战役。在这样一个他赖以取得粮食和石油的地区中进行长久的战争，对他是有百害而无一利的。对他有利的是靠经济渗透而控制这个地区，或者是通过一次不会破坏庄稼和工业的闪电战来占领它。他的目的是要巩固巴尔干半岛来与苏联对抗，粉碎在希腊的英希联军，然后通过土耳其和非洲同时进军以占领东地中海地区和苏伊士运河。美国对英国的援助正在日益增加，冲突可能拖得很长，因此希特勒需要近东的石油。
与此同时，为了控制爱沙尼亚、拉脱维亚和立陶宛这3个波罗的海小国，进行着迅速发展的内部斗争。这些小国同苏联订有军事同盟并且为苏联提供了海军基地，然而这几国的政府却都是半法西斯专政，在某种程度上是亲纳粹的。希特勒的东进鼓舞了这些国家中的亲纳粹集团。苏联提出“鉴于欧洲日益动乱的形势”，要求派遣更多的军队进驻这些国家。1940年6月15日，根据条件作为盟军的红军，向波罗的海3国派遣了大量部队，于是当地的亲纳粹的官员便逃跑了。
1940年7月21日，立陶宛申请加入苏联。这时，苏联在波罗的海边上站稳了脚跟，准备接受未来的考验。德国在巴尔干的战役旷日持久。德国军队打垮了希腊人并把英国人从希腊南部赶下了海。他们用恫吓制服了罗马尼亚和保加利亚，对于进行抵抗的南斯拉夫则大肆破坏。他们一直打到了土耳其边境。专家们预言德国人的下一着将会是通过达达尼尔海峡。然而莫斯科对土耳其的压力，再加上英国的压力，起了作用。专家们预言苏伊士将要陷落，还有谣言说，希特勒的军队已经进入了叙利亚。但是实际他们却向另一方向——向着苏联边境去了。
希特勒清楚地知道，苏联作为一个中立国家，是他走向世界霸权的直接障碍。在互不侵犯条约存在的22个月里，苏联已经3次阻止了纳粹军队的前进。苏联进军波兰把希特勒的东进阻止了一年。苏联收复比萨拉比亚的举动，牵制了希特勒对英国的入侵。莫斯科在巴尔干和波罗的海地区实施的一系列措施，把希特勒拖住在达达尼尔海峡。
这时，希特勒已经认识到，苏联的中立的孤掌，比之于波、丹、挪、荷、比、法、希、南、英等整个欧洲的武装部队加在一起，对他是更大的阻碍。因此他回转头来，用人类历史上最强大的进攻来打击苏联。
在等待的几周时间里，克里姆林官内的气氛异常紧张。斯大林也深深感到了肩上的压力，他倾注了全部精力防止在1941年内爆发战争。斯大林虽有信心，但仍没有十足的把握获得成功。各种各样的、互相矛盾的情报和谣言使他更坐立不安。德国的参谋长于1941年2月15日发布了一项“用假情报迷惑敌人的特别指令”，他们传出假情报说，德国军队在东线的调动原属于“历史上最大的迷惑演习，旨在分散人们对入侵英国的最后准备工作的注意”。
毫无疑问，斯大林也多少受了这种假情报的影响。然而，他不太相信希特勒会这样快地孤注一掷，背离俾斯麦的东方政策的传统，即要求德国在西方进行战事的同时，应该避免卷入对苏联的战争。与此同时，斯大林也过高地估计了德国将领们的力量和影响，以至于相信他们是违背希特勒的具体命令而企图对苏联发动战争。
政治局委员和最高统帅部成员都坚信可以避免战争在1941年爆发。1941年3月20日，苏军情报部长戈利科夫将军给斯大林呈送一份报告，说德军正在边境地带集结，但是戈利科夫又说这份情报肯定是英国和德国情报机构编造的。5月初，指挥苏联海军的库兹涅佐夫上将也给斯大林送去一份类似的报告，汇报了苏联驻柏林海军武官关于战争迫在眉睫的报告。和戈利科夫一样，他也否定了这份报告的价值，补充说他认为这情报是不真实的，是外国情报机构伪造的。
苏军在列宁格勒向德军发起了反攻。1941年4月初，丘吉尔给斯大林发来一份亲启电报，提醒他注意德国军队的调动和德国即将向苏联发动进攻。此后，英国方面于6月18日向苏联驻伦敦大使提出紧急警报。苏联驻柏林大使馆的报告以及苏联驻日本的杰出间谍理查德·佐尔格的报告都提到了德国入侵苏联的确切日期。
斯大林对这些报告均持怀疑态度。他仍然极不信任英国，他认为英国似乎可以做出任何背信弃义的事情。
他确信，英国和美国正在竭力煽动希特勒来攻打苏联，特别是英国把德国东进看成是解救自身灾难的办法。他认为英国政府最近已同纳粹官员进行了密谈，以牺牲苏联来寻求达成一项协议。希特勒的副手鲁道夫·赫斯于1941年5月10~11日飞往苏格兰，这更加剧了斯大林对英国秘密外交活动的怀疑。
6月21日夜间，朱可夫从基辅打来的电话里获悉，一名德军司务长越过了防线对苏军指挥员说，德国军队将在次日凌晨发动进攻。
朱可夫立即给斯大林和铁木辛哥打电话。斯大林把他们都召集到克里姆林宫。斯大林单独接见了他们，听取了朱可夫的报告。
“但是也许是德国将领把这个逃兵送过来，是为了挑起冲突。”这是他的第一个反应。
“不，我们认为这逃兵说的是真话。”他们回答说。
政治局委员都来了。斯大林询问他们的意见，但是谁也没能作出回答。
铁木辛哥起草了一项命令，向各军区发出警报。但是斯大林仍没有放弃他的希望，以为这也许是一场虚惊。斯大林让人重新起草了命令，最后同意发出这项命令，命令列宁格勒、波罗的海、西部、基辅和敖德萨各军区的前线部队立即作好战备，准备抗击德国可能发动的突然袭击。1941年6月22日0时30分这项命令下达完毕。
“闪电战”受挫
1941年6月22日黎明，希特勒出其不意地向苏联发动了进攻。成千的德国飞机铺天盖地般地升上苏联的上空，对苏联的飞机场实施狂轰滥炸，成千的德国坦克疯子般地冲过边界，后面跟着成百万的摩托化部队。希特勒声称这是“世界历史上最大的一次进军”。他并没有夸大事实。由于那次进攻，世界上最大的两支军队进行了对全人类最有决定意义的搏斗。
战争爆发的当天，外交人民委员莫洛托夫代表斯大林向全体苏联人民发表了广播讲话，他号召全国人民紧急动员起来，勇敢地投入战斗，打败法西斯侵略者。
莫洛托夫的这一番话是受斯大林的委托，代表斯大林而讲的，这一讲话原本应当由斯大林本人来讲，但当时的形势异常紧急，斯大林正与他的军事将领们商量讨论反击的对策。
苏德战争的爆发，立刻引起了全世界人民的广泛关注。6月22日晚9点，已经担任英国首相的丘吉尔发表声明，声援和支持苏联对德国宣战。他说：“任何对纳粹帝国作战的个人或国家，都将得到我们的援助，任何跟着希特勒走的个人或国家，都是我们的敌人。”
6月23日，美国代理国务卿威尔斯代表罗斯福总统发表了美国支持苏联的声明。同一天，中国共产党中央委员会主席毛泽东同志向全党发出指示，号召组织广泛的反法西斯的国际统一战线，支援苏联抵抗法西斯的正义而神圣的战争，并以驱逐日本帝国主义滚出中国的实际行动来援助苏联。
在6月22日凌晨的会议上，斯大林经过一番沉思以后，授权发出第2号作战命令，号召各军区向入侵者反击。也就在这一天，国防人民委员铁木辛哥呈报了一份关于建立统帅部的计划草案，草案拟定由斯大林任统帅部总司令。第二天，在签署法令之前，斯大林对草案作了修改，提名铁木辛哥为最高统帅，并建立统帅部大本营。大本营由军事委员会组成，铁木辛哥任委员会主席，斯大林、莫洛托夫、伏罗希洛夫、布琼尼、朱可夫和库兹涅佐夫任委员。
6月30日，又成立了国防委员会。这是指挥战争的最高机构。国防委员会的各项命令由人民委员通过各人民委员部来执行。负责军事的大本营改名为最高统帅部大本营，由斯大林担任委员会的主席，莫洛托夫、铁木辛哥、伏罗希洛夫、布琼尼、沙波什尼科夫、朱可夫任委员。1941年7月19日，斯大林又担任了国防人民委员，1941年8月8日，他被任命为苏联武装部队最高统帅。也就是说，斯大林不仅在名义上，而且在实际中，他都是这次战争的最高统帅。
面对德军强大的攻势，苏军被迫退却。通讯联系的中断，引起了紧迫的问题。莫斯科失去了同普里皮亚特河以北的部队和其他军区的联系。