1944年4月18日，侵华日军开始实施打通大陆交通线作战的第一步——平汉作战，5月9日打通了平汉铁路，5月25日攻占河南省政府、第1战区司令长官部所在地洛阳，河南大片国土沦入敌手。
5月27日，日军开始实施湘桂作战，向湖南发动大规模进攻，战事重心南移。
根据中共中央的指示，北方局和八路军总部决定以太行军区第3团、新编的第35团和豫西地方工作队共1500余人，组成八路军豫西抗日独立支队（即第1支队）首先挺进豫西，开展抗日游击战争；以太岳军区第18、第59团等部组成豫西抗日游击支队（即第2支队）随后南下。
第1支队在司令员皮定均、政治委员徐子荣率领下，于9月6日由林县出发，22日由济源西南之寥坞渡口渡过黄河，从新安以西越过陇海铁路，进入豫西嵩山、箕山、宜阳东赵堡、临汝大峪店及登封以南的东、西白栗坪地区。
第2支队在司令员韩钧、政治委员刘聚奎率领下，于1944年11月6日渡过黄河，进入陇海铁路新安至渑池段南北地区活动。12月底，中共中央党校干部100余人、晋绥军区第6支队3个连，奉命来到新安以北之园山与第2支队会合。
中共中央接着决定以驻陕甘宁边区的第385旅第770团和警备第1旅第2团，组成豫西抗日游击第3、第4支队（第3支队司令员兼政治委员陈先瑞，第4支队司令员兼政治委员张才千），共约2200人，由王树声、戴季英率领，挺进豫西。该部于1944年11月28日跨过黄河，进入豫西。1945年2月底，正式成立河南军区，直属中央军委领导。王树声任军区司令员，戴季英任政治委员，统一领导豫西的抗日斗争。
1945年3月下旬，太行军区根据中央指示，又以第13团主力为骨干组成第6支队，进入豫西。至此，八路军在豫西的部队增加到1万余人。
1944年6月，冀鲁豫分局、军区遵照中共中央和北方局关于加强水东、开辟水西，扩大豫东抗日根据地的指示，抽调300余人南下水东。1945年1月，又调第8团（1400人）开赴水东，随后划水东为第12军分区，余克勤任司令员，袁振任政治委员。
5月14日，第28团（由上述第8团改称）从扶沟东北的吕潭渡过新黄河，进入水西。6月20日，冀鲁豫军区为统一水东、水西区领导，决定成立豫东指挥部，王秉席任司令员，段君毅任政治委员。同时，调第15团加强水东，将第29团调水西，随后成立水西军分区，司令员汪家道、政治委员李仕才（均未到职）。
1944年8月15日，新四军第4师师长彭雪枫率师主力从泗洪县东南的半城集等地出发西进，20日在宿县以北越过津浦铁路进入萧县以南地区。国民党军极力阻止新四军西进，新四军进行反击，师长彭雪枫于9月11日在河南省夏邑以东八里庄战斗中英勇牺牲。10月，新四军第4师在第3师第7旅及八路军冀鲁豫军区3个团的协助下反击，将顽军赶回涡阳县城。11月，新四军第4师又开辟了商丘、毫县、永城之间地区，至此，基本上恢复了豫皖苏边抗日根据地。
鄂豫边区党委和新四军第5师决定，以1000余人组成豫南游击兵团，以黄林为兵团指挥部指挥长，向豫南敌后进军。
1944年7月29日，豫南游击兵团先遣队从罗山西北的陡沟以西北渡淮河，进入确山、正阳、信阳三县边界地区，以胡冲店为中心开展工作，8月中下旬，转至正阳西南的张仪店一带分散游击。8月29日，豫南游击兵团指挥部率主力夜渡淮河北上，再次进占胡家冲，随后将进入豫南的部队扩编为挺进第1团～第4团。
11月，鄂豫边区党委决定将豫南游击兵团改称为河南挺进兵团，黄林任兵团司令员，第5师副政治委员任质斌兼任兵团政治委员，并增派第38团到豫南。
1945年4月间，边区党委和第5师决定，以淮南、信罗、信应、信随等县成立第6军分区，陈刚任司令员，方正平任政治委员。不久又以豫南之信确、信桐、泌阳等县成立第4军分区，韩东山任司令员，夏忠武任政治委员。此外，以挺进第2、第4团组成豫中兵团，黄林任司令员，栗在山任政治委员，活动于西平、遂平、叶方舞等县。1945年8月上旬，豫中兵团与河南军区陈先瑞支队合并，成立河南军区豫中军分区，陈先瑞任司令员，黄林任副司令员，栗在山任政治委员。
发展河南，是中共中央统一部署的战略任务。经过八路军、新四军的共同努力，开辟了豫西，发展了豫南，扩大了豫东，恢复了豫皖苏边抗日根据地，进一步打通了它与华中的联系，基本上达到了“绾毂中原”的战略目的。