在未取得一致意见的情况下，刘英即以省委名义作出挺进师主力进入浙西南的决定，并派人接替粟裕的挺进师政治委员会书记职务。在处理浙西南与闽东两区的矛盾上，刘英从“统”掉闽东的意图出发，几次提出把叶飞留在临时省委工作，借以调离闽东。粟裕不赞成，认为这对坚持闽东根据地与协调两区关系不利，也不符合组成临时省委的初衷。刘英不采纳粟裕的意见，自行决定叶飞兼任原由粟裕担任的组织部长，离开闽东到临时省委工作。是年秋，刘英写信给粟裕，要他乘与叶飞会面的机会把叶飞押送临时省委。粟裕未能坚决抵制，执行了这种用对敌斗争的方法解决内部矛盾的错误做法。在押送叶飞至省委途中，遇到敌人袭击，叶飞乘机脱险。此事导致闽浙边临时省委解体，史称“南阳事件”。8月，刘英主持召开临时省委会议，指责粟裕参与叶飞等人“分裂省委”活动，“全盘否定浙西南的工作”，“对恢复浙西南丧失信心”，对粟裕进行无情斗争，并剥夺他的行动自由。此后，粟裕即与刘英分开活动，但在总的方面是统一的，互相有配合、有联系，粟裕主要活动于浙赣路南侧和浙西南地区。
4月6日率主力一部于缙云县南乡越王山击溃地方反动民团，活捉国民党驻赣预备军司令部秘书长兼参谋长陈素子。
6月1日“两广事变”爆发，广东军阀陈济棠与广西军阀李宗仁、白崇禧以抗日救国的名义反对蒋介石。蒋介石被迫撤走“围剿”浙西南的主力部队。
粟裕以挺进师政治部的名义发表宣言，反对军阀内战，要求国民党政府放弃反共，团结抗日。
6月至11月率领以突击师主力组成的“牵制队”，转战浙闽边地区，开展游击战争，创建和恢复根据地。根据民族矛盾日益加深的新形势和浙江商品经济比较发达、地主兼工商业者较多的特点，对政策作了若干调整，改变打土豪政策，确定以抗日、反蒋为前提，扩大团结对象，缩小打击目标，活动的重点放在对敌人威胁最大，对外界影响最大的浙赣线南侧，有时甚至打到陈诚的家乡青田，汤恩伯的家乡武义，逼近蒋介石的家乡奉化。至1936年11月，在浙南和浙东建立了纵横250余公里的根据地，一度丧失的浙西南根据地得到恢复，挺进师由几百人发展到一千五六百人，地方游击队和群众武装发展到数千人。夏季，在云和县以南的一次战斗中脚踝负伤。这是他第六次负伤。
10月22日中国工农红军第一、第二、第四方面军在陕北会师，宣告历时一年的长征胜利结束。
12月12日张学良和杨虎城发动“西安事变”，迫使蒋介石接受停止内战、联共抗日等条件。但是，蒋介石坚持“攘外必先安内”的方针，加紧进行已经部署的对南方革命根据地的进攻。
1937年30岁
1月国民党调集43个团的兵力，采取“大拉网”战术，开始对浙南游击根据地的第二次“围剿”。在强敌进攻面前，粟裕确定的指导思想是：把隐蔽精干、保存力量同机动灵活、积极作战结合起来。针对敌人的“大拉网”战术，采取与敌人相向对进、易地而战的打法：“敌人梳过来，我们钻过去；你要我的山头，我要你的后方”。同敌人进行了历时八个月的艰苦卓绝、机智巧妙的斗争，尽管浙南游击区中心区遭到严重摧残，但几块根据地坚持下来了，保存了较多的干部。粟裕后来回忆说：“这个时期是我们在三年游击战争中作战最为频繁的时期，也是我们运用游击战术比较成熟的时期。我们以毛泽东同志在井冈山时期总结的‘十六字诀’为指导，结合实际，经过无数次的作战实践，总结了一些经验。”这些经验，丰富和发展了以“十六字诀”为基础的游击战法。
2月5日至7日同刘英一起在泰顺县峰文指挥挺进师与敌浙保第二、第三团及八十师的一个团，进行了一次挺进师入浙以来规模最大的战斗，最后巧妙导致两股敌军相互开火，挺进师撤出战斗。苏联《红星报》曾报道峰文大战的消息。
7月7日日本侵略军对卢沟桥地区中国驻军发动突然袭击，开始全面侵华战争。8日，中共中央通电全国，呼吁“全民族实行抗战”。8月25日，中共中央军委发布命令，将中国工农红军改编为国民革命军第八路军。9月初，朱德总司令率领八路军主力挺进华北抗日前线。
8月1日中共中央发出《关于南方各游击区域工作的指示》，指出：为适应建立抗日民族统一战线的新形势，在保存与巩固革命武装、保障党的绝对领导的原则之下，可以与当地国民党驻军和地方政权进行谈判，取得合法地位，争取共同抗日。
8月24日中共闽浙边临时省委代表与国民党闽浙赣皖边区主任公署代表达成协议，闽浙红军改编为国民革命军，在以平阳山门为中心的北港地区集中。
临时省委派人到浙南和浙东寻找已经失掉联系的粟裕率领的挺进师部队。
8月27日与刘英联名发出《中国人民抗日红军闽浙军区司令部通告》，指示所属部队“迅速向军区集中以期早日对日直接作战”，并与国民党驻军及一切抗日武装团结御侮。
9月中旬在浙西南遂昌地区活动期间，得知国共两党合作抗日的消息，并派人调查证实后，发出致国民党遂昌县当局函，提出《国共合作抗日协议书》，要求他们派代表谈判。10月14日，在驻地门阵村与遂昌县代表谈判，提出共同抗日的三个条件：第一，红军游击队将开赴浙南根据地，沿途不得留难；第二，红军已经停止打土豪，须由对方补充弹药、给养；第三，合作不是投降，改编不是收编，双方是平等的合作，要保持红军的独立性。双方达成协议。同日，以苏群（粟裕化名）、刘清扬名义发出致遂昌县县长林树艺函，声明“拟即往军区集中”，“至整编事宜，因组织关系，碍难从命”。
10月12日根据国共两党达成的协议，国民政府军事委员会宣布，在南方8个省13个地区的红军和游击队改编为国民革命军陆军新编第四军（简称新四军）。
10月19日率领部队离开遂昌门阵，赴浙南平阳闽浙军区驻地，沿途宣传团结抗日。同时留下遂（昌）宣（平）汤（溪）工委及其下属组织，在当地开展抗日救亡工作。到达平阳县水办村，与刘英会合。在平阳县，红军挺进师部队改编为国民革命军浙闽边抗日游击总队，粟裕任司令员，刘英任政治委员。
11月下旬在中共闽浙边临时省委第十一次扩大会议上作关于抗日战争形势的报告。
11月至12月临时省委和游击总队先后举办干部训练班三期，培训军队连以上、地方县以上干部。粟裕亲自给学员讲课。
12月25日新四军军部在汉口成立。
1938年31岁
1月上旬新四军军部由武汉移驻南昌，中共中央东南分局和中共中央军委新四军分会宣布成立，同时公布新四军编制体制和主要领导人的任命。粟裕被任命为第二支队副支队长。
1月兼任抗日救亡干部学校校长。1月5日，温州《浙瓯日报》刊登了粟裕审定的浙闽边抗日游击总队救亡干部学校招生启事。之后浙江及外省爱国青年纷纷报名，最后录取学员150名。粟裕在该校亲自讲授游击战争的战略战术，并写出《游击战术讲授提纲》，共讲26次、31小时12分。在总结浙南和闽浙边三年游击战争经验的基础上，结合抗日战争的新形势，论述游击战争的战略意义和战术原则，指出：“抗战以来的事实证明，抵抗日本帝国主义的侵略，只有正规军在正面进行的正规战争是很不够的，必须同时在敌人后方开展游击战争，才能实现全面的全民族的抗战，才能最后把侵略者赶出去。”
2月15日毛泽东电示新四军的行动原则，指出：“力争集中苏浙皖边发展游击战，但在目前最有利于发展地区还在江苏境内的茅山山脉”。“如有两个支队，则至少以一个在茅山山脉”。
3月5日参加了在平阳县大屯村召开的中共闽浙边临时省委扩大会议。会上由中共中央东南分局副书记兼组织部长曾山传达了东南分局的指示精神，研究部署了抗战初期浙江党的工作和浙江红军改编为新四军等工作。会后研究决定：
粟裕率浙闽边抗日游击总队开赴皖南加入新四军行列，刘英留浙江主持工作。
3月18日根据中共中央指示，率浙闽抗日游击总队和抗日救亡干部学校部分人员组成的战地服务团，从平阳县山门街出发，经瑞安、泰顺、云和、丽水、松阳、遂昌、龙游、衢县、常山、开化、屯溪，开赴皖南加入新四军战斗行列。部队途经丽水大港头时，国民党浙江省主席黄绍专程从金华赶到丽水会见粟裕，并检阅部队，发给了部分军服和子弹。4月18日，到达安徽省歙县岩寺地区，所部整编为新四军第二支队第四团第三营。
3月26日率部途经遂昌县境时，在军民联欢大会上发表“团结一致，全民抗战，才能求得民族解放、主权独立”的演说。得知该县仍有“共产党政治犯”关押狱中，致信遂昌县县长，要求“即日开释所有政治犯，俾便参加救亡”。3月27日，所有政治犯被释放，其中五人随粟裕部奔赴抗日前线，其余留在当地参加抗日救亡工作。
4月4日新四军军长叶挺率领军部机关由南昌转移到安徽歙县岩寺。新四军各部同时集结完毕。
4月24日毛泽东电复项英：“先派支队去溧水一带侦察甚妥，惟须派电台及一有军事知识之人随去”。4月下旬，新四军军部决定，从第一、第二、第三支队抽调部分干部和侦察分队组成先遣支队，以粟裕为司令员兼政治委员，挺进江南敌后作战略侦察。4月29日，项英电告中共中央军委：由粟裕率领的先遣支队已经出发，拟到溧水、溧阳、句容一带侦察；各支队主力不日即将陆续跟进。4月28日，粟裕率领先遣支队从岩寺出发，突破日本侵略军的封锁线，于5月中旬进入南京附近敌占区。第一支队主力在陈毅率领下继先遣支队之后向苏南挺进。
5月4日毛泽东电复项英，指出：“在一定条件下，平原也是能发展游击战争的”。要求新四军在侦察部队出动之后，主力即可跟进，开展敌后游击战争，创建以茅山为中心的根据地。还应准备分兵一部进入苏州、镇江、吴淞三角地区，再分兵一部渡江进入江北地区。史称“第一个五四指示”。
6月8日与陈毅率领的新四军第一支队在溧水县新桥会合，向陈毅作长达五小时的苏南敌后情况汇报。
6月11日奉命执行第三战区司令长官顾祝同的命令，率领先遣支队，以三个雨夜急行军，挺进至南京附近的下蜀车站，破坏京沪铁路和电线，造成日军一列火车出轨，交通一度中断。
6月17日于镇（江）句（容）公路上的韦岗（今丹徒县境内）伏击日军运输车队，毙伤日军少佐土井以下官兵20余名，击毁日军汽车4辆，缴获长短枪11支和大量军需物资。粟裕为此题诗：“新编新四军，先遣出江南。卫（原文如此）岗斩土井，处女奏凯还。”在给新四军军部的报告中说：“这是本军出动江南的处女战”，“不仅完成了破坏铁道的任务，而且更加倍地取得了战斗的胜利，这使本军提高了在抗战军队中的地位”。国民政府军委会为此发出嘉奖电：
“叶军长：所属粟部，袭击韦岗，斩获颇多，殊堪嘉尚。”
6月21日奉命撤销先遣支队，返回第二支队，后任第二支队代司令员。
6月23日项英给陈毅的信指示：“二支队主力于次日向目的地前进，他们的任务是担任南京与芜湖之间的活动。二支队主力到达指定地点后，归粟裕指挥”。7月初，第二支队主力在参谋长罗忠毅、政治部主任王集成率领下到达苏南小丹阳地区。1939年4月15日，写出《先遣队的回忆》，发表在同年5月15日出版的《抗敌》杂志第1卷第3号上。
7月率领第二支队主力在宁芜铁路以东、京杭国道以西地区开展游击战争，创建抗日根据地。7月5日，指挥第二支队和第一支队各一部消灭勾结日军残害人民的国民党军江南第一挺进支队朱永祥部叛军，俘虏其司令朱永祥、副司令韩令昌，解送国民党第三战区法办。6日，又指挥第二支队一部在当涂、芜湖之间伏击日军军用火车，击毁火车一列，缴获大批军用物资。
8月上旬先后在当涂、宣城两县召开各界代表会议，成立抗战动员会。
8月25日新四军第二支队司令员张鼎丞率领第四团团部和第三营到达当涂，与粟裕率领的第二支队主力会合。
8月下旬率部粉碎日本侵略军的第一次围攻。22日，日军集中4500余兵力，在飞机、坦克支援下，水陆并进，八路合击，企图围歼位于小丹阳地区的新四军第二支队。第二支队当即以一部兵力阻击和袭扰敌人，主力则隐蔽集结于小丹阳以西俟机打击敌人，另以一部转至外线袭击当涂、陶吴日军据点。24日至26日，在第一支队策应配合下，经过鸡笼山、护家墩、陶吴、当涂等战斗，在小丹阳战斗中毙伤日军50余人，并收复小丹阳等村镇，粉碎了日军对新四军苏南部队的第一次围攻。
9月6日指挥第二支队一部夜袭当涂东北石马矿山日军，毙敌10余名。
9月中旬指挥第二支队第四团先后击溃进攻黄池、青山的日军，毙伤敌人60余名。
10月2日指挥第二支队第三团一部在秣陵至碌口间伏击日军修桥部队，击毙日军34人，缴获轻机枪3挺，焚毁汽车1辆。
同日指挥第二支队第三团一部袭击南京至溧水公路上龙潭仓头之间的碌口据点，毙伤日军14名。
1939年32岁
1月上旬指挥第二支队第三团、第四团各一部，于6日、7日、8日发起水阳镇伏击战和横山战斗，歼敌80余名，收复水阳镇。
1月12日与第二支队参谋长罗忠毅合编《实战经验录》。延安于2月25日翻印出版。
1月20日指挥第二支队第三团一部长途奔袭芜湖附近官陡门据点，21日凌晨发起战斗，从开始攻击到清扫战场，历时20分钟，全歼守敌300余名，生俘57名，缴获大批武器弹药和军用物资。战后，写《为官陡门战斗胜利题诗》
一首：“新四军，胆气豪，不畏艰险与疲劳。七十里之遥，雪夜奔袭芜湖郊，伪军无处逃。伤毙满沟，活捉四十余，步枪四五十条，机枪三挺，驳壳十余条。还有大刀，日伪军旗，脚踏车、大衣与皮袍。军用品，用箩挑。汉奸远逃，敌伪心愁，广大人民兴高，同声咒骂汉奸罪不可饶！”又撰写战斗报道《芜湖附近官陡门的奇袭》，后于1939年10月7日在《新华日报》上发表。他总结此战经验说：
“官陡门，在日军盘踞的战略基点芜湖北郊飞机场附近，是一个极其险要的地方”。“可是一个敌人认为最安全的地方，却正是我们出奇制胜的地方”。
2月23日赴云岭出席新四军干部大会，聆听中共中央军委副主席周恩来所作《目前形势和新四军的任务》的讲话。会后，周恩来与新四军领导人研究确定了新四军“向南巩固，向东作战，向北发展”的战略方针。
3月下旬在第二支队参谋工作会议上作关于军事工作条例的报告。