由于冯玉祥的归来，一时间西北军激起了革命的潮头。但太原这边，张自忠却无所事事，变成了无聊的闲人。张自忠时时被一种莫名的失落和沮丧所袭击，觉得自己如同一只离群的孤雁。对于如何消磨沉闷的时光，他始终想不出妥善的办法，有时与朋友打打牌，有时闲居读读书，偶尔到戏院看看戏，但也提不起兴致。冯先生的归来使他看到了希望，但又担心冯的误会而不敢前去谒见。
张自忠悠闲的几个月，可谓寄人篱下，异常的烦恼、苦闷。1927年1月，冯玉祥进入西安，了解到张自忠被迫出走的经过，马上命令参谋长石敬亭派专人持函到山西与商震联系，要求张自忠归队，商震欣然同意。张自忠更是喜出望外，内心久久不能平静，当天即刻动身，由商震派的人护送着，跟着请他的人出发了。
到达西安后，冯玉祥当天就召见了他。四目相对，两双手紧紧地握在了一起，张自忠感到冯的身上似有一股电流，正通过双手涌向他的全身，他为之震颤，竟难以自抑地抱头痛哭，象个受了莫大委屈的孩子。几个月来，他经历了多少的辛酸和烦恼啊，面对敬爱的老长官，他自然无法控制激动的情绪，一古脑地都倒了出来。冯玉祥很不平静，他再三抚慰张自忠，并勉励他振作精神再图大业，参加北伐工作。
几天后，冯玉祥任命张自忠为集团军总部副官长，留在自己身边，以示信赖。张自忠不胜感激，每每谈及此事，他都感慨万千，几近落泪。在以后的一生中，他也确实在用事实铭记着冯对他的信任。
1930年4月，阎锡山太原通电就任“中华民国陆海空军总命令”。
冯玉祥、李宗仁分别在潼关、桔平就任中华民国陆海空军副总司令职，通电讨蒋，并任命鹿钟麟为前敌总司令、刘骥为总参谋长。随后，各地反蒋军纷纷而起，迅速形成了全国性的反蒋大联合。
4月23日，冯玉祥以副司令名誉颁布命令，宣布对蒋介石集团开战。于是，一场中国近代史上规模空前的军阀混战——桂冯阎中原大战遂爆发。双方在东起山东，西至襄樊，南迄长沙，绵延数千里的战线上展开厮杀。
反蒋联军共5个方面军，约六十余万人。李宗仁指挥第一方面军，由广西出兵湖南，进趋武汉；冯玉祥之西北军为第二方面军，郑州地区沿陇海路东取徐州，并防守许昌以北地区，阎锡山之晋军为第三方面军，由河北向津浦路南下进攻济南，尔后与冯军会攻徐州，进兵南京；投蒋不久复而反蒋的石友三部为第四方面军，由新乡东进，主攻济宁、兖州，配合晋军会攻济南；河南的樊钟秀部为第八方面军，集结于临颖地区。
蒋介石调兵七十余万编成4个军团，亲任总司令，令韩复榘指挥第一军团，防守山东禹城地区；何应钦指挥第三军团，集结于漯河地区；陈调元指挥预备军团，集结于济宁、荷泽一带。
冯玉祥亲自统帅的第二方面军总计二十六万余人，是反蒋联军的主力部队，共划分为8路：以张维玺部为第一路，由陕南汉中府出安康，经叶县到许昌，进击平汉线；孙良诚部为第二路，庞炳勋部为第三路，同时沿陇海路进击郑州；宋哲元部为第四路，孙连仲部为第五路，分别由陕甘宁青向河南推进；万选才部为第六部，在陇海线归德附近集中；郑大章指挥骑兵集团，进出豫东皖北，向徐州方面军蒋军后方袭扰；刘郁芬任后方总司令，负责陕甘宁青等省一切事宜。
大战前夕，张自忠在河南灵宝待命时，剿灭了灵宝南山一带的土匪，不久又接到冯玉祥电令：第六师除以第十七旅配属梁冠英部作战外，主力暂时编入张维玺第一路，简称南路军，总兵力计15万人。
5月初，南路军首先在平汉线向蒋军开战，拉开了中原大战的帷幕。
5月中旬，反蒋联军与蒋军开始大规模接触，张自忠部奉命向许昌挺进。行至灵井一带，第六师与徐源泉部相遇。徐部颇为顽强，屡次发起猛攻，均被击退，张自忠部也伤亡不小，遂挖掘战壕固守，双方形成对峙。后来孙连仲部前来增援，张自忠率部乘势发动进攻，徐源泉部遂被一举击溃，徐部的一个团被歼灭，平汉线方面蒋军全部退到漯河一带。
5月中旬，蒋介石在陇海线发动了强大攻势。受挫后又于6月下旬发动了新攻势，并亲赴柳河前线督战，集结三万多人由杞县、太康一线，诱敌深入。张自忠也于此时奉命开到杞县附近，配合孙连仲，兜抄蒋军左侧，与冯军左翼作正面堵击的晋军形成对蒋军的包围之势。但由于蒋介石得到密报，临时变更部署，并抽上官云相等部增援，而左翼晋军又未能按计划协同作战，使蒋军得以突围。在突围中，蒋军被截成数段，张自忠部与担任掩护任务的蒋军张治中近卫第二师相遇，两位姓名听上去分不出你我的将领，在战场上还是分出了高低，张治中的近卫第二师损失惨重，被彻底击溃。
作战中，张自忠勇敢果断，指挥若定，丰富的作战经验和出色的指挥才能发挥得淋漓尽致。显然，张自忠的良好指挥是第六师屡战屡胜的重要因素。
当时，西北军官兵勇猛骠悍，十分善战，开战之初连连取胜，曾使蒋军产生严重恐惧心理。士气低落，许多部队几乎不敢再作出击的准备。
当第六师进至柘城、太康两线边界的王集、柳河集、冯庄砦一带时，与同平汉线来援的蒋军王金珏、徐源泉部遭遇，双方往来攻守，形成对峙。王金珏师系几个师缩编而成，故战斗力颇强。
桂军方面，李宗仁于5月下旬指挥所部分三路入湘。7月初遭到蒋光鼐部反击，撤回广西。这使得蒋介石能够腾出手来集中力量对付冯、阎。
津浦线方面，晋军作战不利，节节败退，至8月15日，济南等相继失手，阎锡山见战局不利便开始图谋自保，不再积极协同冯军作战，甚至断绝了对冯军的粮饷弹药供应，西北军陷入孤军苦战，只得停止攻势。
9月18日，一个关系到战争胜负的重大事件发生了，雄踞关外静观虎斗的奉军统帅张学良，宣布放弃中立立场，通电拥蒋，随即挥师入关，占领确山。战局急转直下。
面对南北受敌，弹尽粮绝的败局，性格坚韧的冯玉祥仍企图背水一战，力挽狂澜。无奈诸将已纷纷动摇，投蒋的投蒋，独立的独立，投降的投降，眼睁睁大势已去，众叛亲离，山穷水尽，使他只能对空悲切，面壁浩叹，被迫于10月5日率总部渡黄河北上。
中原大战结束时，张自忠的第六师除配属梁寇英的王修身第十七旅随梁投蒋外，尚有第十六、第十七旅一部和手枪团的大部，约五千余人，是西北军残部中最完整的部队之一。
西北军的土崩瓦解，使张自忠同其它将领一样面临着前途的选择问题。当他听说冯玉祥北渡，即令自己的部队由郑州渡河北上。这时，蒋介石派人给张自忠投委任状，任命他为第二十三路军总指挥。张就地召开干部会议，讨论去从。有人反对投蒋，也有人认为这是千载难逢的良机，奉劝他接受任命。张自忠经过慎重考虑后郑重地对大家说：“我们做军人的，很要紧的就是忠诚。现在西北军失败了，很多人背叛了冯先生，但我张自忠不能这样做，这是个气节问题。再说，蒋介石虽然给我封了官，可我们毕竟是败军，投到人家那里难保不受人家宰割。你们怕不怕受罪？要是怕受罪，我不带走了，这里有钱有官，大家以后不会再跟我受苦；要是不怕跟着我受罪，咱们就渡河北撤。大家同意不同意？”
无人提出异议。“那好，部队先行过河，我暂留南岸收容散兵。”次日，第六师主力由张克侠、张春棣、佟泽光等人率领渡黄河开赴山西，张自忠仍留在南岸收容失散官兵。后来，张克侠在谈此事时对张自忠眷念故主、拒不投蒋的风骨倍加赞赏。他说：“中央曾以二十三路军总指挥相招，当时又多劝导者，彼时虽然情况急迫，但终抱不贰，此等节操精神，敛兵北渡，不以个人利害为重，真所谓富贵不能淫，威武不能屈矣。”
当时，北上的西北军残部大多已渡过黄河，张自忠在黄河桥头坐镇收容部队。当部队大部都已过河，后边的行李、家属及很多大车都未能过河，既无船只又无部队押送。他急人所急，忙派工兵营长朱春芳带领全营找到十几只木船，把他们完全护送到黄河北岸焦作。家眷们感激涕泪，不知说什么好。
官兵、家眷都陆续过了河，张自忠却独自伫立在黄河岸边，默默无语，久久沉思。5个多月的鏖战犹如一场恶梦，煊赫一时的反蒋联军，尤其是西北军败得如此之惨，使人始料不及。战争是无情的，战败留给人的悲切更无情。抬眼远望，夕阳西下，浊浪车流，萧瑟的秋风吹打着他布满征尘的灰军衣，一阵阵孤寂、苍凉袭上心头，分割着他那颗痛苦的心。
西北军是国民军史上一支重要的军事力量，它成之于冯玉祥，也毁之于冯玉祥，它由最初的一个营扩充到团、旅、师、军以至集团军，曾经令世人瞩目。由于投入毫无意义的军阀混战，而招至灭顶之灾，他亲手栽培的将领也纷纷离他而去。惟有宋哲元率领残部退入山西，算留在了军中。
张自忠自1916年加入第十六混成旅，至1930年西北军失败，追随冯玉祥14年。这期间，他征战南北，刻苦奋斗，由一名差遣依次递升，成为冯玉祥麾下一员高级将领。这是他努力奋斗的结果，同时也与冯玉祥的慧眼识人，亲手栽培有关。正因如此，张自忠的命运才紧紧地同冯玉祥联系在一起。十余年间，他与冯玉祥同呼吸，共命运，一荣俱荣，一损俱损。西北军最终脱胎于北洋军阀部队，尔后逐渐从军阀行列中游离出来，表现了革命的倾向，后来又直接参加了国民大革命。反段护张、讨伐张勋、首都革命、五原誓师，参加“北伐”，都是西北军史册上的精彩段落；然而，随着冯玉祥的立场转变，西北军又陷于清党反共的政治误区和争权夺利的无义混战。这一系列行动，张自忠基本上都参与其间，个中是非功过，也都应有他的一份。这是由他的地位所决定的。
中国近代历史上曾出现过形形色色、五花八门的各种军队。西北军无疑属于比较好的那一类。在冯玉祥的治理和领导下，西北军军纪严明，注重教育，体恤民艰，热爱国家。他的治军，他的作战，他的作风，无一不打着冯玉祥的烙印，无一不带有明显的西北军风格。在西北军的14年，为张自忠的后半生奠定了基础；他后来的抗日爱国壮举是对西北军优良传统的发扬光大。
西北军的失败，葬送了一大批将领的政治前程。反蒋的失败来得太快，让他们几乎没有思考的余地，大势所趋，他们各奔所投，盲目亦或形势所迫都是一种需要，但他带给每个人的前途却或阴或明。张自忠算是幸运的，他仍掌握着数千人的部队，这成为他谋求新的政治生命的基础。从此，他又开始了一种不同于西北军时代的新生活。