陈毅奔赴苏南敌后建立茅山抗日根据地。后挺进苏北，孤立顽敌韩德勤，与南下八路军配合，攻占苏北重镇黄桥，后又取得黄桥保卫战的胜利，奠定了苏北抗日根据的基础，打开了华中抗战新局面。
1937年10月，国共两党谈判达成协议，将南方8省14个地区(琼崖除外)的红军和游击队整编为新四军，叶挺为军长，项英为副军长。成立党的东南分局，项英为书记，陈毅是委员之一。成立军分会，项英为书记，陈毅为副书记。不久，陈毅被任命为新四军第一支队司令员。
1938年2月上旬，新四军军部及第一、第二、第三支队，奉命到皖南歙县岩寺集中，然而集中后如何部署还是个问题。陈毅与刚从赣南返回南昌的项英研究，于14日向毛泽东建议：新四军“不宜全部集结岩寺”，应“尽可能向前伸出到浙、苏、皖之昌化、绩溪、孝丰、宣城、宁国”，到苏浙皖边广大地区，就可以自由进退。2月15日，毛泽东复电项英、陈毅同意二人意见。
根据毛泽东的指示，军分会在派先遣支队赴苏南进行战略侦察后，确定陈毅率第一支队进军苏南敌后，和第二支队一起建立苏南抗日根据地。6月1日，陈毅率一支队从宣城出动，穿过封锁线，14日到达茅山地区，着手创建茅山抗日根据地。
陈毅把增强群众的信任当作发动和组织群众抗日，在茅山站住脚、求得生存和发展的关键。为此，部队坚持执行不拉夫、不派款、不扰民的“三不”政策，群众不让进村，就露宿田野。陈毅以身作则，几次露天宿营，不住民房，在屋檐下坐到天亮。新四军严明的纪律很快赢得广大群众的信赖，抗日群众组织迅速建立。
1938年初，陈毅在南昌。陈毅把指挥部队积极打击敌人当作头等大事。他指出，要使群众认清新四军是真正抗日的队伍，需要拿出消灭敌人的实际行动来。在他指挥下，一支队接连取得新丰、新塘、句容城、珥陵等战斗的胜利，还夜袭了南京城郊西善桥、麒麟门等日军哨所。陈毅所部的抗战实践，使新四军的威名迅速传遍大江南北和南京、上海。
陈毅还亲自同社会名流、开明士绅联络。茅麓农林公司经理纪振纲是民族资本家，是茅山地区的头面人物，对国民党腐败无能感到痛心，对共产党的主张将信将疑，对装备很差的新四军开始看不上眼。陈毅亲自登门做工作，加上连续的胜利，使纪振纲逐步改变了对新四军的态度，从捐献物资、药材，到将自卫武装300多人枪全部交给新四军。在广泛团结各界人士的基础上，陈毅在纪念抗战一周年时召开镇江、丹阳、金坛、句容四县代表会议，成立四县抗敌总会。这是苏南民主政权的初级形式。
陈毅把团结改造民众武装当作发展部队的大事来办。当时苏南民众武装很多，有枪有地盘。陈毅正确执行团结、争取、扶助发展和逐步改造的方针，同民众武装广泛联系，帮助调解纠纷，使他们化仇为友、共同抗日。
1939年2月，中共中央军委副主席周恩来到皖南新四军军部视察。陈毅去云岭汇报情况，听取指示，参与商定了“向南巩固，向东作战，向北发展”的方针。
此后，陈毅根据苏北的政治形势，对挺进苏北作出部署。此时苏北是联系八路军、新四军的重要纽带，是日、伪、顽、我必争之地。除日军力量最强外，国民党军包括两部分：一是位于兴化以北的鲁苏战区副总司令、江苏省主席韩德勤，约7万人，是顽固派；二是位于泰州一带的苏鲁皖边游击军总指挥李明扬、副总指挥李长江(简称“二李”)部，约3万人，以及位于曲塘一带的税警总团陈太运部，都是地方实力派。他们与韩德勤有区别，也有矛盾，据此，陈毅决定斗争策略是：灭敌、联李、反韩。
同年8月下旬，陈毅由江南赴泰州，与“二李”联络感情，并向他们宣传团结抗日主张。“二李”也想借助新四军的力量对付韩德勤，因而热情接待。
同年10月，李明扬请陈毅协助他们将弹药由江南运至江北。陈毅立即表示同意，并派第四团去完成。当该团护送弹药至江北后，即改名为苏皖支队，进至扬州、天长地区抗日。接着，他又将由第六团与地方武装合编组成新四军挺进纵队陆续派往江北，进至江都县吴家桥地区，从而造成了发展苏北的有利态势。此外，陈毅也藉此与二李交好。
1940年1月19日，中共中央书记处给新四军的指示中，明确“江南陈毅同志处应努力向苏北发展”。
遵照党中央的指示精神，于6月15日毅然决定率江南指挥部机关及主力向江北移动，同时留下3000人由罗忠毅率领在苏南坚持斗争。陈毅率江南主力北移途中，二李没有率部为难，新四军进军顺利。
新四军江南指挥部率主力于7月8日到达吴家桥地区，与挺进纵队、苏皖支队会合后，奉命改称苏北指挥部，陈毅任指挥，粟裕任副指挥，辖3个纵队，共7000人，确定东进到以黄桥为中心建立根据地。黄桥位于靖江、如皋、海安、泰县、泰兴等县的中心，便于向南通、海门、启东一带发展，而盘踞在黄桥一带的保安第四旅何克谦部战斗力弱，占领黄桥后，可再向北发展，协同八路军南下部队解决苏北问题。
陈毅部于7月25日开始行动，长途奔袭，直取黄桥。于29日凌晨解放了黄桥。陈毅随即转兵，连克孤山、西来镇等日伪据点，并再次粉碎日伪军的“扫荡”。群众奔走相告：“新四军是真来打日本鬼子的!”
韩德勤对新四军占领黄桥极为仇视，于9月上旬调兵进犯。
陈毅和粟裕鉴于黄桥决战不可避免，决心集中兵力，采取积极防御、诱敌深入的战法，于运动中歼击韩军。陈毅在动员时指出：这次还击韩军对黄桥的进攻是一场决战，关系到苏北根据地的开辟和华中抗战局面的发展，一定要全力以赴，务求必胜。他在严徐庄坐镇掌握全局，让粟裕在黄桥具体负责战场指挥。
10月4日，韩德勤部开始进攻黄轿。新四军先阻击第八十九军两个师于黄桥外围，将独六旅分割歼灭，随即全力夹击第八十九军，激战至5日晚，将该军主力歼灭，中将军长李守维仓惶逃窜时落水毙命。新四军乘胜追击，攻占海安、东台等地。此役，共歼顽军1.1万余人，韩德勤率残部逃回兴化。
黄桥决战的胜利，奠定了苏北抗日根据地的基础，打开了华中抗战的新局面。
11月17日，党中央决定成立华中新四军、八路军总指挥部，陈毅任代理总指挥，与政委刘少奇统一指挥陇海路以南、长江以北的新四军、八路军部队。
皖南事变后陈毅临危受命，任新四军代军长，开展了反投降，反“扫荡”，反“清乡”斗争，再一次打败韩德勤。1945年9月3日，日本签署投降书正式文件之时，陈毅任新四军军长。
1941年1月7日，国民党顽固派制造了震惊中外的皖南事变。新四军军部和皖南部队遭受重大损失，项英牺牲，叶挺被囚。17日，蒋介石发布命令，取消新四军番号。20日，中共中央、中央军委决定重建新四军军部，任命陈毅任代军长，刘少奇任政委。25日，在盐城举行重建军部大会，陈毅发表就职演说，决心重振军威，“统率全军9万之众，誓与日寇、汉奸、反共顽固派奋斗到底!”重建新四军军部，标志着新四军进入了新的发展时期。
陈毅首先抓整编部队和明确任务。他和刘少奇一起研究方案，经中央军委批准，将陇海路以南、长江南北地区的新四军、八路军部队统一整编为新四军7个师、1个独立旅。他们从坚持华中敌后抗战出发，明确了各师的任务，形成了新的战略布局。不久成立中共中央华中局和军委新四军分会，陈毅为委员。新四军在组建3年后，终于在组织上、军事指挥上完全统一起来。
陈毅对反投降抓得很紧。此时，国民党苏鲁皖边游击军副总指挥李长江正同日军密谋，妄图配合日军消灭新四军新军部及苏北主力。随着李长江投敌面目的暴露，陈毅由盐城赴海安亲自具体部署讨李。他对参战部队动员时指出：只有坚决打击投降势力，才能孤立日军，利于坚持华中抗战，保卫华中抗日根据地。2月15日李长江公开投敌，被编为伪第一集团军，陈毅和刘少奇于18日令第一师师长粟裕、政委刘炎发起讨逆战役。经三天战斗，李伪军5000余人被歼，两个支队战场反正。
新四军代军长陈毅。陈毅大力抓干部培养。成立了抗大华中总分校，自己兼任校长，培养营、团干部和参谋、工兵人才。还成立华中卫生学校，培养医务人才。
同年夏，陈毅组织苏中、苏北部队协力进行反“扫荡”。7月20日，日伪军1.7万余人，向盐城猛扑。陈毅要求第一、第三师协同作战，来对付敌人的“扫荡”，他率军部及直属队在盐城外围隐蔽指挥。当日伪军向盐城进犯时，第一师遵陈毅电令在苏中发动攻势，使敌顾此失彼。当日伪军于8月初被迫从盐城、阜宁抽兵去苏中报复“扫荡”时，陈毅又指挥盐城、阜宁地区部队反击，迫使“扫荡”苏中的日伪军主力北调。至8月20日，这次反“扫荡”胜利结束，共歼日伪军3800余名。
1942年1月至3月，华中局召开第一次扩大会议。刘少奇、陈毅就政治和军事斗争问题分别作了报告。在会议于3月5日结束时，刘少奇宣布他奉命将返回延安，军分会书记由陈毅代理。会后，陈毅指导各地军民进行艰苦的反投降、反“扫荡”、反“清乡”、反“蚕食”、反磨擦斗争，巩固和扩大抗日根据地。
1943年3月中旬，韩德勤部趁日伪军对盐阜区“扫荡”的机会，背信弃义，率部西渡运河，侵入泗阳县山子头一带，妄图建立反共基地，并派其重建的第八十九军西进接应反共军王仲廉部。与此同时，王仲廉率5个团东越津浦路，闯进华中根据地西大门。为打击反共军东西夹击淮北抗日根据地的企图，陈毅令第四师师长彭雪枫、政委邓子恢指挥，实施山子头战役，歼击韩德勤部。经两天战斗，歼韩军总部及重建的保安第三纵队和独立第六旅，并活捉了韩德勤。
韩德勤被俘后，极力要求见军长。3月31日，陈毅会见韩德勤。他首先阐明了对抗战合作的基本主张，讲了山子头事件的起因，接着表示：我方对韩“主席”坚持敌后抗战，采取帮助态度，即使今后局势演变，不幸有大规模磨擦发生，也力争与韩“主席”保持友善态度。韩德勤对陈毅不计前恶深为感动，表示：“彭(雪枫)、邓(子恢)与陈军长之表示，均坦白诚恳，贵党贵军确有顾全合作的诚意，对本人的优待，至为感激。”韩德勤承认：“陈军长多次托人向我示意，我认为彼此无商讨余地，……故未理会，现在想来，这也是我的错。”韩德勤表示同意陈毅关于要以地方的相融来争取国共全局好转的看法，表示要照着去干。然后，双方议论了一些事项。
陈毅鉴于韩德勤表示检讨和认错，决定将其释放，并发还其部分人枪。对此，韩德勤甚为满意。确定由韩的参谋长吕汉劲代表其所部，彭雪枫代表新四军，具体商谈签订协定事宜。
4月1日，韩德勤回拜陈毅。陈毅设宴为韩送行，发还他的手表、皮包、手枪，吕汉劲和彭雪枫签订了《合作抗日的协议》。韩德勤提出借钱，陈毅当即送给8万元。宴后，韩德勤带着由新四军发还的人枪编成的两个连队及电台，由新四军礼送出境。不久，王仲廉会同第八十九军溜回津浦路西，韩德勤也将其副总部及“江苏省政府”搬到了安徽省阜阳城。
同年11月25日，陈毅奉党中央、毛泽东之命，赴延安参加整风和党的“七大”准备工作。
1944年3月7日，陈毅抵达延安。此后，他学习了党中央有关整风文件，毛泽东的《学习与时局》等着述，对华中工作和闽西有关情况进行回顾和分析，参加了中央对有关问题特别是华中发展方面的研究。
1945年4月至6月，陈毅参加党的“七大”，代表新四军在会上作了发言，并当选为中央委员。8月，又当选为中央军委委员。
华中军民根据党中央、中央军委电令和陈毅的要求，在大反攻中解放县城30余座，攻克据点400余处，歼灭日伪军5万余人。
8月25日，陈毅启程返回华中。次日，陈毅被任命为新四军军长、华中局副书记。这是离日本9月2日正式签字投降的前7天，他正式担任了新四军军长。
陈毅回返华中途中，党中央调整了战略部署，确定：八路军山东军区主力大部和新四军第三师全部开赴东北；新四军军部北移山东，与山东军区机关合并为新四军兼山东军区领导机关；新四军主力一部调赴山东，阻击国民党军沿津浦路北犯。9月下旬，陈毅接到党中央电报，要他赴山东。鉴于军情紧急，他昼夜兼程，于10月4日抵达临沂，同山东军区司令员兼政委罗荣桓会面交接。
10月12日，陈毅接到中央军委电报：目前山东的中心任务，就是截断津浦路，阻止国民党军北上，求歼其一部或大部。为此，必须组织强大突击力量，在徐州以北、济南以南的适当位置，控制铁路一段，创造战场，以便打击北上的国民党军。
10月20日，中共中央决定陈毅兼山东军区司令员。这时，他率津浦前线指挥部已进到邹县香城，指挥津浦前线自卫反击作战。11月3日，当由伪军改编为国民党军第五路军的吴化文部4000余人由界河北进时，陈毅指挥首批入鲁的新四军第二纵队和山东八路军第八师设伏予以全歼。在俘虏的吴部官兵身上，发现佩戴着日伪白底蓝边红字的“兴亚爱华”和国民党军白底蓝字的“五路”两种符号，陈毅气愤地说：这就是蒋、敌、伪合流的罪证!
为了实施在山东的作战意图，10月15日，陈毅召集参战的团以上干部开会，动员再战。他越讲越激动，以高昂的声音讲道：“山是老子开，树是老子栽，谁敢来摘果，叫他把枪放下来!”陈毅这首诗，表达了他保卫人民胜利果实坚强决心，逗得在场的干部大笑起来。
接着，陈毅指挥第二纵队、第八师和新赶到的新四军第七师等部，沿津浦路向南发动攻势，至12月中旬，攻克滕县、韩庄等地，共歼国民党军2.8万余人，受降日军400余人，控制铁路200余公里，迟滞了国民党军北进，保卫了山东解放区。