1940年9月，鉴于新四军队伍的不断扩大，以及游击战在后方给日军带来的威胁，日军决定发动秋季攻势，对新四军根据地进行扫荡。南京的日伪军经过较长时间的充分准备，先是从苏南增调熊谷第15师团、岩松第17师团以及江都警备司令铃木部队的7000余日军，又拨掉江浙皖绥靖军所属扬州、蚌埠等地区伪军1万余人。日伪军总兵力达17000余人，发动运河、淮河、长江之间的“三河作战”，并以XX县城为合击点，企图以1个月时间消灭新四军江北部队主力及指挥机关，摧毁路东抗日民主政权，以保障伪都南京及津浦铁路运输之安全。
3月份，新四军攻占XX县城后，王老三带着几个伪军仓促逃窜，在外面躲了一段时间。现在日本人又要杀回来了，他准备卷土重来。“日本人现在正组织对共产党大规模扫荡，我看他们是兔子的尾巴，长不了了，我们几个也不能闲着，得尽快秘密潜入县城，召集弟兄们，准备进行反攻。”王老三瞅准了时机，带着几个人偷偷溜回了县城。
9月初，“扫荡”开始，日伪军从南京、扬州、津浦路沿线等地出动，在多架飞机和数十艘泡艇的配合下在，西从明光进行进攻，南从六合向北，东从天长向西，形成西、南、东合击之态势，在控制淮河的渡口的同时，在淮河水面增加了数十艘巡逻艇和炮艇，阻止新四军北渡淮河。
“这次日伪军兵力强大，来势凶猛，上级要求我们在做好群众转移工作的同时，配合好新四军主力打好游击战，但是一定要注意保存实力，避免与敌人正面较量。还有，你得尽快安排大伙从县城里撤走，日本人随时可能杀过来。”付明辉对倪克明说到，倪克明这时已经恢复了工作，继续担任县中队队长。“好，我这就去安排。”倪克明说着，“就这样把收复的县城让给日本人，真是心有不甘。”“留着青山在，不怕没柴烧，游击战就是不要在乎一城一池的得失，要在运动中消耗敌人。”付明辉开导着倪克明，倪克明点了点头。
日军很快就要打过来了，整个县城里弥漫着战斗前的压抑气氛，倪克明在紧张地组织还没有转移的群众进行转移。王老三纠集了数十伪军，一直在伺机准备行动，他看到城中兵力空虚，于是带着数十伪军，悄悄地向临时县委所在地靠了过来，准备进行突袭。这时，付明辉正在整理撤离的文件，站岗的同志发现了王老三他们，于是开了一枪，付明辉这才有警觉，一边命令人整理材料，一边组织县委里的同志进行反击。
“这是哪里来的枪声？”正在组织群众转移的倪克明问到。“队长，好像是城东传过来的。”旁边的同志回答到。“日军不应该这么快就打过来，”倪克明心中疑虑，小声嘀咕着，“县委是不是在那边？”“是的，队长。”“赶快组织大家和我一块去城东，跑步前进，迅速支援城东。”
王老三想偷袭县委的行动暴露了，他气急败坏地命人进行强攻，哪知道县委的同志依据建筑优势，很快打死打伤了数个伪军。王老三恼羞成怒，命令所有人一起冲上去。就在这时，倪克明带着县中队赶了过来，大家看到王老三，充满仇恨的子弹呼啸着飞了过来。王老三大惊，伪军渐渐招架不住，狼狈而逃。倪克明本想带着县中队继续追击，被付明辉拦了下来。“克明，穷寇莫追，抓紧时间转移群众，”付明辉虽然经历刚才的战斗，但依然镇静自若，“多亏你及时赶到。”“便宜王老三这畜牲了，迟早要和他算总账。我看这里不安全，等你们安全转移了，我再回城南那边去。”倪克明对付明辉说。“这样也好，那我们抓紧点时间。”
县委和群众转移后，日军分多路向XX县城杀了过来。1940年9月10日，日军在路东大“扫荡”中，再次侵占XX县城，并当即在县城四周一带构筑工事，修筑碉堡，并在淮河沿线修建据点。王老三看到日本人重新占领了县城，就率领了数十伪军再次投奔了日本人