1941年7月，希特勒为了扫清从南方通往高加索地区的道路，调动四个罗马尼亚集团军和大批飞机坦克，气势汹汹地向滨海城市敖德萨扑来。就在这个时候，原任塔什干高级步校校长的彼得罗夫少将奉命来到敖德萨，指挥正在组建的骑兵师。守卫敖德萨的滨海集团军在黑海舰队的配合下，展开了英勇的保卫战。但是，由于兵力悬殊，各防区不断出现险情。8月下旬，彼得罗夫受命担任局势恶化的南部防区的司令。他采取主动出击的积极防守战术，巩固了自己的防御阵地。10月1日，统帅部根据形势发展的需要，命令滨海集团军向克里米亚半岛撤退，历时73天的敖德萨保卫战结束；但在撤退前夕，集团军司令员索弗罗洛夫将军病倒，彼得罗夫受命指挥撤退。为了减少损失，他果断改变原司令员的撤退计划，于10月16日顺利将部队撤至克里米亚。10月下旬，上级命令彼得罗夫率部向半岛纵深的中间地带撤退。在与上级司令部失去联系的情况下，他当机立断，将滨海集团军撤往军事要塞塞瓦斯托波尔，并率领广大官兵，与曼施泰团的优势兵力进行了250天艰苦卓绝的长期战斗，直至1942年7月1日奉命撤离。刚从塞瓦斯托彼尔撤出的彼得罗夫，未等稍事休息，就被调至位于北高加索西南部的克拉斯诺达尔的北高加索方面军司令部，被任命为第44集团军司令员。为了摧毁苏联的工业中心，夺取高加索的石油资源，德军向高加索地区发动了强大的攻势。第44集团军的任务是在通向格罗兹内依和巴库的要冲建立纵深梯形防御，不让敌人强渡捷列克河。彼得罗夫在极短时间之内巡视了纵深600公里的防御地段和各部队，动用各种力量完成了防御。8月31日希特勒的第一坦克集团军下达了消灭捷列克之敌，向格罗兹内依挺进的命令。但是敌人的进攻失败了，人员装备遭受巨大损失，李斯特将军被撤职。
为了摆脱困境，希特勒决心集中所有兵力打击图阿普谢方向，切断黑海兵团同高加索方面军的联系。这样在图阿普谢方向，德军同苏军的兵力比例，步兵为2：1，炮兵3：1，飞机5：1.9月25日德军发动了图阿普谢战役。为了对付德寇新的进攻，彼得罗夫被任命为黑海兵团司令员，统率5个集团军，防御广阔的战线。由于双方兵力悬殊和原司令员制定的防御计划存在严重缺陷，于危难之中接任的彼得罗夫几乎面临失败。秋雨连绵，山路泥泞，弹药给养运输困难，彼得罗夫发动群众献计献策，克服困难。他还派出许多小分队到敌后进行袭扰活动，在山地与敌人进行了长时间的冬季战斗，使敌人始终未能占领图阿普谢。第二年3月，彼得罗夫被任命为北高加索方面军第一副司令兼参谋长，5月升任该方面军司令，统率8个合成集团军和两个航空兵集团军，以及黑海舰队和亚速海分舰队。彼得罗夫上将决心摆脱单纯防御的被动局面，选择德军兵力集中的战略要地诺沃罗西斯克作为突击目标。经过周密计划和充分准备，于9月初发动了诺沃罗西斯克战役。苏军英勇奋战，与敌激战5天5夜，解放了位于黑海东北岸的这一重要港市。彼得罗夫乘胜扩大战果，又于10月中旬一举收复塔曼半岛，彻底粉碎了希特勒夺取高加索的计划。彼得罗夫晋升为大将，获苏沃洛夫一级勋章。这时，彼得罗夫又开始考虑横渡刻赤海峡、消灭克里米亚之敌的计划。他面临的最大困难是没有足够舰船运送部队和装备。但是，大本营于11月1日下达了进攻令，登陆部队和舰船在横渡海峡和登岸时，遭到德空军、舰艇和大炮的猛烈阻击，伤亡极大，经过40余天的激烈战斗，苏联才得以在对岸建立了前进基地，但解放克里米亚的任务并未完成。1943年底，他被召回莫斯科，遭到斯大林严厉训斥。彼得罗夫不服，当面顶撞斯大林，认为他和他的部队已经尽了自己最大的努力。彼得罗夫因此被降为上将和第33集团军司令。1944年春，他又被任命为白俄罗斯第二方面军司令员。但斯大林并没有恢复对他的信任，大本营召开研究白俄罗斯夏季战役的军事会议，他未能参加。但彼得罗夫仍积极为战役做准备，不计较个人得失。方面军政治委员麦赫利斯暗中给斯大林写信，称彼得罗夫身体有病，难以保证战役的胜利，于是他被免职养病。随着战争形势的发展，苏军组建了乌克兰第四方面军，以突破德军在喀尔巴阡山的坚守防线。无病养病、具有丰富山地作战经验的彼得罗夫被总参谋部推荐于1944年8月担起了该方面军司令员的重任。他不负众望，指挥部队越过东喀尔巴阡山，挥戈西进，于1944年11月解放捷克重镇古梅涅，又不畏严寒完成了穿越西喀尔巴阡山的艰苦战斗。但是，1945年3月，正当他率军乘胜前进时，麦赫利斯又进谗言，说他指挥无方，被撤职，调任乌克兰第一方面军任参谋长。他与部队一起直捣柏林。战后，他未被授予元帅军衔，直到1958年病故。