6月22日下午1点左右，斯大林打电话给总参谋长朱可夫说，鉴于前线司令员缺乏作战经验，一时陷于慌乱状态，政治局决定派他到西南方面军去担任统帅部的代表。赫鲁晓夫将在那里同他合作。沙波什尼科夫和库利克将去西方方面军。从战争的第一天起，斯大林就已经按照列宁在内战时期的做法，派自己信赖的代表到关键地区去。对于战争的总指挥来说，这不仅是为了同前线保持直接的联系，协助那些没有经过战争考验的司令员，同时也是为了显示他的存在。
斯大林在莫斯科克里姆林宫办公室。明斯克战区的形势的确非常严峻。苏军第3和第10集团军余部被德军合围于明斯克以西，正在进行着敌众我寡的殊死战斗。第4集团军的某些部队已退入普里皮亚特森林中，一些在前几天战斗中遭到严重损失的散乱的兵团，从多克施策-斯莫列维奇-斯卢攻克-平斯克-线向别烈津河撤退。这支部队正在受到德军的追击。
根据以上情况，朱可夫提出了3条建议：（1）立即派第13、19、20、21、22集团军在西德维纳-波洛茨克-维帖布斯克-奥尔沙-莫吉廖夫-莫孜尔-线加强防御（2）派统帅部预备队的第24和28集团军，在后方地域沿谢利日阿罗沃-斯摩棱斯克-罗斯拉夫尔-哥美尔-线构筑防御，（3）立即动员将莫斯科民兵师改编成2～3个集团军。
斯大林即刻批准了朱可夫的3条建议，并命令立即执行。
7月3日，斯大林向全国发表了重要的广播讲话。这是一次历史性的演讲，没有华丽的词藻，他呼吁人民的民族自尊心和保卫祖国的顽强斗争精神，他以领袖和朋友的姿态讲话，他讲话的内容正是人民所期待的信念。斯大林的讲话大大鼓舞了苏联各族人民的斗志，特别是在武装部队中产生了巨大的影响。
斯大林发表广播讲话的第二天，国防委员会就发布了一项重要命令：
把苏联的工业基地向东转移。按照这项命令，苏联疏散了1，523个工业单位，包括1，360多个主要军械厂，有些工厂规模庞大，疏散工作十分艰巨。完成这项任务本身就可说是苏联人民在二战期间创造的一项伟大业绩。拆卸和迁移这些工业虽然不可避免地造成了生产的下降，以至于在1941年秋和1942年冬军火供应十分紧张，但是，它对苏联最终赢得战争却起了巨大作用。到1942年夏季，军火生产就得以迅速恢复，保证了战争的需要。
苏德战争爆发后，柏林、伦敦、华盛顿都以为苏联的抵抗会在希特勒一个月的闪电战中被粉碎。然而，两个星期以后，华盛顿不得不谨慎地承认：“俄国人进行了德国人从未遭遇到的最强有力的抵抗。”过了6个星期，美国人和英国人便开始对这场战争重新加以估量了。
苏联人民为对付西方列强的进攻，已经准备了20多年。但是如果从整体上看，纳粹德国的进攻从根本上看并不是他们所最担心的进攻。他们所最担心的是遭到全世界所有资本主义国家的联合进攻。他们担心形成一条世界的反苏统一战线。如果早两年，当张伯伦执政的时候，在波兰打起来的话，他们所担心的事是可能发生的。如果芬兰战争一直拖到英法联军开到芬兰的话，他们所担心的事几乎是一定会发生的。
斯大林不愧为一个英明的政治领袖和伟大的战略家。毫无疑问，他看到希特勒利用苏德互不侵犯条约签订后的22个月时间来搜刮欧洲的财富和军火，但是这22个月也教育了欧洲和世界的人民，使他们认识到纳粹统治的性质。当希特勒的征服开始时，欧洲上层阶级的某些人是持支持态度的。甚至许多老百姓也试图去适应德国的“新秩序”，希望它能够统一欧洲。但是那两年的一系列事实证明了纳粹并没有带来“欧洲合众国”，而是给占统治地位的“日耳曼种族”以外的一切人带来了严酷的奴役和饥饿。成百万的犹太人和斯拉夫人死在集中营里。在促成世界联合阵线的过程中，欧洲的日益成熟的仇恨是起了作用的。同时，正如斯大林所预言的，对苏突然袭击这种公然的侵略行为，对于世界联合阵线的促成也起了重要作用。
当希特勒号召进行“反布尔什维克主义的圣战”的口号失败时，新的世界联合阵线就显露了端倪。许多人料想教皇庇护十二世会谴责布尔什维克分子，但是他并没有这样做。其他一些人以为丘吉尔这个布尔什维主义的宿敌将采取中立。但是丘吉尔却用响亮的词句宣布他以及他的政府和人民支持苏联人。他说“任何对纳粹主义作战的人都将得到我们的援助，俄国的危急就是我们的危急。”在德国入侵苏联后的第四个星期，英国同苏联缔结了同盟。在这一方面，各欧洲国家的“流亡政府”很快地都效法了英国的做法。这些流亡政府当时在伦敦避难，它们现在第一次看到了日后回家的一线希望。
苏联6个星期的坚持不屈改变了伦敦、华盛顿和流亡欧洲的前景，它也改变了“牢狱中的欧洲”的前景。它使欧洲地下抵抗运动活跃起来。到1941年秋天，欧洲的地下战场已经在第二次世界大战中占据了不可忽视的地位。苏联的反抗希特勒以及它同各流亡政府缔结同盟，就把欧洲一切反纳粹者——从共产党人到保皇党人——都联合到抵抗运动中来。
1941年夏季是灾难深重的时刻。德国军队的进攻来势凶猛，似乎锐不可当。7月10日，斯大林建立了西方战区，包括西方方面军、预备方面军和莫斯科方面军。由铁木辛哥负责指挥，他发觉德国人正采取钳形攻势迅速向斯摩棱斯克进逼。苏联军队浴血奋战，因为他们知道，斯摩棱斯克一旦陷落，敌军通向莫斯科的道路就会畅通无阻。
就在这一天，德国中央集团军群各部，在重新部署了兵力之后，恢复了进攻。到7月15日，德军已经进抵斯摩棱斯克，并占领了这座城市的南部，而北部仍在苏军第16集团军手中。卢金中将指挥的第16集团军虽然顽强固守第聂伯河河岸，粉碎了德军强渡第聂伯河的企图，然而，第16集团军和第20集团军各部却在斯摩棱斯克地区陷入了德军的重重包围。
为了摆脱已经出现的极端危险的处境，最高统帅部大本营决定组建几个集团军级的集群，这些集群从别雷-亚尔采沃-罗斯拉夫尔地区向斯摩棱斯克方向实施反突击，消灭突人的敌军，与在斯摩棱斯克地区合围圈内顽强作战的各集团军会合。苏军将领罗科索夫斯基被从西南方面军调来指挥其中的一个集群。
德军部队大举向莫斯科逼进。罗科索夫斯基在莫斯科只停留了几个小时。在最高统帅部大本营，朱可夫对罗科索夫斯基说，在斯摩棱斯克方向形成了一片真空地带，德军在亚尔采沃附近进行了大规模的空降，罗科索夫斯基将要指挥的集群的任务是不让德军向维亚济马方面推进。新组建的这个集团军级集群将由几个师编成。朱可夫对罗科索夫斯基说：“从莫斯科到亚尔采沃，沿途您所遇到的部队都由您收编。具体指示您到方面军司令部那里受领。”总参谋部还给罗科索夫斯基配备了几个参谋和两辆装有机枪的汽车、一台无线电台。
当天傍晚，罗科索夫斯基一行便抵达位于维亚济马以北的卡斯纳的西方方面军指挥部。铁木辛哥向他简要介绍了情况：卢金的部队仍在死守斯摩棱斯克；利久科夫上校率部守卫着第聂伯河索洛维耶夫斯卡娅渡口和拉特钦斯卡娅渡口，并通过渡口与在斯摩棱斯克被敌军合围的部队保持着联系。
介绍完情况后，铁木辛哥就向罗科索夫斯基下达了具体任务：“预备队一到，我们就给你几个师，你暂时先去收编一些部队的兵团。”7月17日夜间，罗科索夫斯基一行驱车前往亚尔采沃地域，在途中成立了由15～18名参谋组成的集群司令部，其中有10名刚从伏龙芝军事学院毕业的年轻军官。集群司令部由塔拉索夫中校具体负责，司令部就设在汽车上。
罗科索夫斯基就是靠着这个临时“司令部”开始一路收编部队的。在很短时间里，司令部就收编了各种人员：步兵、炮兵、工兵、通信兵、机枪手、追击炮手和医务人员。不久，一个由后方新组织的预备兵团也建成了。
基里洛夫上校领导的步兵第38师是编入罗科索夫斯基集群的第一个大兵团，他原属于第19集团军，撤退时与司令部失去了联系。第二个被编入集群的是米哈伊洛夫上校指挥的坦克第101师，部队还剩下80辆KB-7型老式坦克。罗科索夫斯基有了兵员，便毫不迟疑地指挥着这两个师去抗击亚尔采沃附近的敌人。
战斗打响后，有关亚尔采沃以东有苏联部队在抗击德军入侵者的消息很快便在敌人后方传开了，于是，在敌人后方被打散的部队纷纷在自己的指挥员带领下成批集结在罗科索夫斯基新组建的集群里。这样，罗科索夫斯基集群的战斗行动规模迅速得以扩大，由方面军那里派来的增援部队也越来越多。在这种新形势下，原来临时组成的司令部就不适应对这一集群的指挥，许多参谋在战斗的第一周里就牺牲了。罗科索夫斯基请求铁本辛哥尽快给他派一个司令部来。
7月21日，铁木辛哥命令一星期前刚刚来到维亚济马地域进行改编的机械化第7军司令部到罗科索夫斯基处报到，随同到来的还有方面军新任副司令员叶廖缅科中将。
到7月底，罗科索夫斯基集群的态势终于得以巩固，不久就转入了进攻，而且很快就取得了成果：攻占了亚尔采沃，强渡了沃皮河，并在河西岸设防固守。而德国人也一改以往的进攻势头，开始构筑工事，进行防御。
在罗科索夫斯基的指挥下，第16集团军对德军迅速实施了反突击，一举把纳粹军队赶出了亚尔采沃，部队挺进至第聂伯河的支流——沃皮河的东岸。
8月下旬，德军开始大力加固沃皮河西岸的工事，目的是为了牵制苏军，以便腾出预备队用于前线其他地段。南面，叶利尼亚附近正在进行着激烈战斗。最高统帅部及时给第16集团军下达了新的作战任务：立即转入进攻，不让德军预备队调往叶利尼亚突出部。
为了突破德军的防线，罗科索夫斯基亲自检查了各个地段的部署情况。8月31日晚，一切准备就绪，罗科索夫斯基一声令下，各部队强渡了沃皮河，在炮兵强大火力掩护和坦克的护送下，步兵开始向敌人的防御纵深地带推进，德军尽管疯狂地拼死抵抗，但是，最终还是没能抵挡住红军的强大攻势，不得不开始从整个防御地段上溃退。
9月1日中午，德军预备队投入了战斗，加强了抵抗，双方激战一直持续到深夜。从9月2日拂晓开始，战斗又一次打响了，9月3日傍晚，德军在调集了预备队和坦克之后，从不同方向发起了反冲击。由于德军有了越来越多的增援部队，苏军的优势开始减弱。9月4、5日两天，战斗继续进行，双方各有胜负。为了保存实力，苏军最后放弃了进攻。
第16集团军虽然没能最终突破敌人的防御并重新夺回斯摩棱斯克，却把敌人准备用于叶利尼亚战斗的一部分预备队牵制到自己一方，为9月6日苏军第24集团军解放斯摩棱斯克作出了巨大贡献。