抗战爆发，做阎锡山统战工作，打开冀南抗日新局面。改造旧政权，粉碎日军“九路围攻”，劝服于学忠建立抗日民主新政权。保卫党中央，后任抗大校长，整风生产两不误，纠正审干偏差。
1937年7月7日，抗日战争全面爆发。8月22日，徐向前出席了党中央政治局在洛川举行的扩大会议。会议讨论了党在抗日战争中的战略任务和军队的作战方针。会上通过了《目前形势与党的任务的决定》和《抗日救国十大纲领》，选举了以毛泽东为主席的中共中央军事委员会，徐向前当选为军委委员。经过大革命失败和十年内战，徐向前不仅深深认识到正确的政治与军事路线，是革命成败的关键问题，他的战略战术思想，也进展到一个新境界。他认识到毛泽东是一位英明领袖，他完全拥护毛泽东提出的独立自主的山地游击战的战略方针，他认为面对强大的敌人，只有山地游击战，才能发挥我们的长处，坚持长期抗战，夺取最后的胜利。
8月25日，红军正式宣布改编为国民革命军第八路军，徐向前被任命为一二九师副师长，先和周恩来去太原做阎锡山的统战工作。
徐向前和阎锡山是一河之隔的老乡，当年他在阎锡山办的川至中学当教书先生时，阎锡山是山西督军，当然不认识这位小教员，十年内战中徐向前成了红军的名将，阎锡山方知这位“老乡”何人。他讲话中说过这样的话：“徐向前这样的人才，怎么走到共产党一边去了，不是楚才晋用，而是倒过来了，得人者昌，失人者亡!”“山西抗战政治上要依靠薄一波，军事上依靠徐向前。”阎锡山对周恩来、徐向前待如贵宾，又是宴请，又是陪同参观。
徐向前利用他对故乡历史、人情等情况比较了解的优势，协助周恩来积极开展统一战线工作。他们在和阎锡山谈判过程中，宣传党的抗日主张，说服阎锡山采取积极态度，与共产党和八路军合作抗日，希望他对进入山西的八路军给予支持和方便。阎锡山在周恩来和徐向前耐心劝导下，答应了一些有利于八路军行动的条件。徐向前还利用一切机会，向阎锡山部下和各界人士宣传共产党的抗日主张，群众集会、校友会、同乡宴，只要有机会、有约请，他都出席演讲。
任八路军一二九师副师长的徐向前。在太原失陷前后，徐向前参与指挥了广阳、尚店、户封地区的对日军伏击和着名的粉碎日军“六路围攻”作战。在党中央“分兵发动群众、开展游击战争”方针指导下，徐向前在晋中主持办了“晋察冀军政学校”，训练了400多名工人、农民和学生骨干，他亲自讲游击战争的战术。
在开辟新区工作中，他十分重视改造国民党县、区旧政权，建立民主新政权。
1938年2月初，徐向前回到了一二九师师部，这才与师长刘伯承、政委邓小平会合，他们在辽县召开了干部会。刘伯承就太原失守后军政建设问题作了报告，邓小平作了政治报告，徐向前作了反六路围攻的作战经验和游击队的建设问题报告。他提出：游击队领导要加强，纪律要严格，要像正规部队一样，加强对游击队的教育与训练。就这次会议之后，1938年3月底，徐向前指挥了着名的响堂铺伏击战，毙伤敌人400多人，截击摧毁汽车180多辆，使日军第十四师团山田辎重队两个汽车中队遭到毁灭性打击。
1938年4月，徐向前参加指挥了反日军“九路围攻”作战。这次作战，八路军一二九师在长乐村一举歼灭日军1500多人。战斗结束后，蒋介石还特电“嘉奖”刘伯承、徐向前指挥的部队。
粉碎日军“九路围攻”后，4月下旬，一二九师主力分开为左右两路纵队向平原发展。徐向前率东路纵队，挺进冀南。5月初，进到巨鹿、南宫县城。这时冀南一片混乱：日军占据着邯郸、邢台、临清等交通要点；一部分“民军”和反动的“六离会”等杂牌武装，活跃在枣强、武邑、衡水等地。各式各样的游击队几百人一伙，几十人一帮，都打着抗日旗号，称“司令”。对付这些队伍难，对付老百姓中的“六离会”更难。在南宫县一些村庄，几乎家家户户有人参加“六离会”。每人一个红包袱，包着红衣服。说声集合，取开包袱，穿上红衣，包袱皮系头，一碗冷水吞下黄裱符，握着刀吆喝起来。还说什么“神保护”他，“刀枪不入”。他们不让八路军进村，还袭击八路军队伍，杀人，抢走电台。干部、战士恨透了这些反动道徒。有人提出，要摆开战线和它打，看他刀枪入不入。徐向前经历过许多次打反动道会门，知道凡是会道门，都是被地主和反革命利用的。一些农民无知，才误入歧途。硬打，更会增加仇恨的情绪，还会伤害好百姓。他提出要采取“三分军事，七分政治”去对付“六离会”。只在必要时打一下，主要是通过宣传抗日救国的道理，打攻心仗。
按照徐向前的命令，部队对“六离会”展开了攻心战。捉住活的，教育几天放回去；抓了头头，不打不骂不杀头，讲明道理，也放回去。还找他们的亲友、母亲、妻儿去劝说，要他们改邪归正，交出红包袱。工作虽是艰难，可是很快见了效。几个月后，各村的“六离会”徒，纷纷提着红包袱向八路军认错、交包袱。几天内，红包袱交来几千个。大多数人改邪归正，洗手不干了，不少人还报名参加了八路军。
部队都没有平原游击战争的经验，一边干部依托山地作战惯了，乍到平原，无遮无盖，一望无边，不禁心慌意乱。八路军干部、战士从当红军时就和山结下了深情。敌人“围剿”钻深山，飞机轰炸进山洞。山上有野果、野菜、竹笋、野兽当食粮。徐向前在大别山区，常听红军唱：“树枝砍不完，根也挖不完，留得青山在，到处有红军。”革命人，都把山看作革命的风水宝地。眼下进入了华北大平原，日军又是飞机，又是坦克，又是骑兵，“小米加步枪”的八路军，能在平原站住脚吗？
徐向前却断言：人民群众，才是最高的山，最深的林。他说，军队是鱼，老百姓是水。有水，就能养鱼，山再大，天天挖也能挖平，能移走；人的山是永远挖不平，移不动的。要坚持抗战，要生存和发展，就要在平原发动群众。徐向前在《开展河北游击战争》一文讲：人民的力量是伟大的。只有这伟大的力量，才是战胜日本帝国主义的法宝。八路军要在平原开展游击战争，必须把广大人民发动起来、组织起来，造成“人山”。徐向前以惊人的毅力，巧妙的斗争艺术，和宋任穷、陈再道、杨秀峰、刘志坚等一起领导坚持了冀南游击战争。不到一年，徐向前领导冀南军民进行大小战斗400多次，杀伤日伪军5000多人。
冬天过去，春天到来。冀南平原一色绿，反动的“六离会”被制服了，乱如牛毛的各色游击队、伪军和土匪也纷纷归降八路军。各村庄人民群众组织起了妇救会、儿童团、自卫队。抗日救国的口号，响彻平原，抗日的歌声，响遍南宫、威县、丘县、平乡、南和、临清各县。军民一齐上阵，攻打日军和伪军的据点，破坏交通线，真是人的山，人的海，人的密林。徐向前率领下的八路军在人民群众的山、海里，生存、发展、壮大。
冀南抗日根据地的局面打开了，春意正浓，1939年6月，徐向前又奉党中央的指示和朱瑞奔赴山东。
徐向前和朱瑞分别担任八路军一纵队司令员、政委。他们一到山东，发表了通电，立即引起山东各界人士和国民党军政要人的注目。国民党鲁苏战区总司令于学忠表示欢迎八跑军抗战，但反对共产党搞政权，徐向前便亲自和他谈判。
“知彼知己，百战不殆”。徐向前熟读兵书，不但很熟悉自己的部队，同时很了解敌人、友军。对国民党军许多将领的历史、习惯、性格都能摸得清楚。于学忠是山东蓬莱人，清朝末年考中过秀才。北洋军阀时期，他先在吴佩孚手下当官，后投奔东北军张学良手下，他当过东北军的师长、军长和临绥驻军司令。蒋介石曾多次派人暗中拉他脱离东北军，他不干。1936年12月西安事变逼蒋介石抗日，于学忠坚决支持张学良。西安事变和平解决后，张学良去南京，被扣押起来，于学忠一直把张学良骑的一匹战马养着，自己不骑，也不许别人骑。他对蒋介石虽不“忠”，对共产党却是冷眼相看，他领兵打过红军，大骂过共产党。国共合作抗战了，他又奉行一种哲学：“既不红，又不蓝，三条道路走中间。”
于学忠很敬重徐向前，热情相待。徐向前巧妙地向他说，第三条道路是走不通的，劝他与共产党、八路军真诚的合作抗日，于学忠听着不反驳。只是一谈到政权，他就说：“八路军是军队，不能搞政权。你们也搞政权，我这个省政府怎么搞哇!你们不搞政权也可以抗日啊!”
徐向前说：“我们是抗日的军队，要搞抗日根据地，就得建立政权，发动群众。你们政权不给我们粮款，不给我们枪弹，我们只有搞政权，依靠人民才有饭吃，才能坚持抗战。”谈来谈去，于学忠被徐向前说得理屈辞短，最后只好同意八路军搞政权，但提出“要合乎法律”手续，要经国民党政府批准。
徐向前知道合乎国民党的法，则没有人民民主政权。他领导山东军民，采取又联合又斗争的手段，对付在山东的国民党军和政府人员，运用新的战术一次次粉碎日军的“扫荡”。在国民党县政权垮掉的地区，迅速建立起共产党领导下的抗日民主政权，在敌占区和游击区，建立起“两面政权”。至1940年底，这些形式的县政权，发展到90多个，设有一个行政主任公署，14个专署，250个区政权，有了政权，根据地巩固地发起来。
1940年6月，为去延安参加党的第七次代表大会，徐向前离开了山东。在山东仅仅一年，他为发创造抗日根据地，付出了巨大的努力，同时指挥八路军进行大小战斗200多次，消灭日伪军和顽固派4500多人，八路军和基干武装发到8.3万多人。
山东军民和一二九师指战员，都盼着徐向前回去，他也是抱着重返前线的愿望。可是党的“七大”推迟召开，徐向前到延安不久，就被任命为陕甘宁晋绥联防司令部副司令兼参谋长。他和司令员贺龙、政委关向应、副政委林枫等，为保卫党中央和联防军的建设辛勤工作两年多。1943年春，他接任抗日军政大学代理校长，和政委李井泉、副校长何长工、彭绍辉等，又全力投入建设和培养人才的教育工作。
他担任抗大校长，正赶上延安整风和大生产两大运动。整风运动中，康生搞“抢救失足者”的所谓“坦白运动”，抗大驻进了整风审干工作组，把抗大572%的干部，搞成了“嫌疑分子”、“特务分子”。徐向前这时住在延安，他得知这一情况，几次写信、带话给绥德校总部领导人，要注意防止、纠正审干中出的偏差，要让搞错了的人起来辩白，不要怕大翻案。抗大审干的偏差，在党中央关怀和徐向前指导下，很快得到了纠正。教学和生产又出现了新面貌，迎来了抗日战争的最后胜利。
解放战争中，徐向前战斗在山西，先占运城，再克临汾，取得晋中大捷。病中坚持对太原之敌作战，取得胜利。坚持共产党人无私品质，不谋一点私利。
生命，对一个人来说，是最宝贵的，然而，徐向前却认为，共产党人，还有比生命更重要的东西：“任务重于生命。”
徐向前来到山西，首先指挥三纵队攻占运城，歼敌1万余人。接着，于1948年3月，又率部攻打临汾。这座历史古城内高外低，像一条牛卧在汾河东岸，俗称“卧牛城”。传说李自成屡攻难克，气得“挂甲”于城郊屯庄的树上，撤兵而去。这个易守难攻的城市又经过日军和阎锡山部队多年加修工事，城墙内外形成四道坚固的环形防线，真是“铜墙铁壁”。徐向前指挥部队以坑道战法，苦战72天，终于攻克临汾，歼敌2.4万余人。毛泽东主席十分重视推广攻坚战的经验，指出：这次攻坚的成功是“一个很有意义的胜利。”
打下运城，攻克临汾，山西全境尚有敌20多万人，固守在晋中一些重要的据点，徐向前此时手下的部队不足6万人，而且经两次攻坚战伤亡较大，供给也困难，不少部队是新兵多于老兵，新扩编的部队多于老部队。敢不敢继续打大仗、打硬仗，是摆在徐向前面前的严峻考验。徐向前此时改任华北军区副司令员兼第一兵团司令员兼政委，他以坚强的决心，精心的计划，和兵团领导人周士第、陈漫远、胡耀邦等，指挥部队发起了晋中战役。
阎锡山坐镇太原，指挥着13万大军，扼守在同蒲路至灵石一线。敌前线总指挥赵承绶，把三十四军、四十三军、六十一军和“亲训师”、“亲训炮兵团”组成了“闪击兵团”，准备在哪里危险就往哪里去“闪击”。病中的徐向前坐着担架指挥6万精兵，采取包抄、围攻等灵活机动的战术，在汾河东岸把号称精锐的“亲训师”大部歼灭。接着不给敌人喘息机会，接连发动进攻，苦战中部队伤亡大，疲累难忍。部队在他的指挥下，苦战巧战，历时30天，歼敌10万余人，俘山西省保安司令兼山西野战军总司令赵承绶以下将官10万余人，解放县城14座。