1928年5月，李宗仁免去程潜湖南省主席职务，以第2军军长兼18师师长鲁涤平代替。但鲁日渐亲蒋，与桂系貌合神离。蒋为准备消灭桂系，秘运武器给鲁涤平。桂系遂决心倒鲁。1929年2月22日，桂系采取先斩后奏办法，以武汉政治分会名义，突然免去鲁涤平湖南省主席职务，由原唐生智部将领、现属桂系的第19师师长何键接任。同时派桂系将领率兵入湘，鲁涤平措手不及，被迫退入江西，这就是所谓“湘案”。
“湘案”成为蒋介石讨桂的导火线。3月13日，蒋介石操纵国民党中央政治会议做出了关于处理湘案的决议，对有关将领给予免职处分，对李宗仁则未予追究，“湘案”似乎解决，实际并非如此。蒋一面对“湘案”做出处理，一面加紧策划一举灭桂的计划。采取了先瓦解河北白崇禧部、武汉李宗仁部后再拆散粤桂联盟，以达到全胜的目的。
在蒋介石一生的军事生涯之中，借刀杀人的事例可谓无数，其中最典型的莫过于在蒋桂战争中利用唐生智策反旧部打败“小诸葛”白崇禧，从而一举击溃桂系。
蒋介石第二次誓师北伐，出于对桂系的怀恨，没有派桂系的第四集团军参加北伐。但是，在日本侵略军制造了“济南事变”以后，蒋介石为避开与日本人的矛盾，决意北伐绕道进行。鉴于局势的变化，蒋介石接受了冯玉祥的建议，派第四集团军参与京汉路正面的作战。
白崇禧在郑州会晤蒋介石后，随即誓师北伐，参与对奉军的战斗。这样，北伐军势力大增，奉军节节败退。桂系携北伐以来的余威，很想藉此将京、津地区据为己有。白崇禧率领的六个军很快赶到了长辛店，在东方饭店设立前敌总指挥部。白崇禧在接受记者采访时就表达了喜悦的心清，他说：“自古以来，凡是统一中国都是由北而南，从未有由南而北完成此一神圣大业的。太平天国时两广军队曾一度进抵天津，至于北京，诚哉其为破天荒也。”
俗话说“功高震主者身自危”。随着白崇禧所部桂军在北方的威望日益高涨，蒋介石渐渐地不能容忍了。
本来，蒋介石召开全国编遣会议和国民党第三次全国代表大会的目的，就是为了剥夺了其他派系的权力，但没有一个肯俯首听命。蒋介石不能容忍这类情况继续下去，他要给不听话者一点颜色看看。不过因为自己力量所限，又不能全线出击，只能各个击破，杀一儆百。蒋的首要目标就是桂系。一来，桂系离京畿地区较近，对中枢威胁大；二来桂系军队从北向南沿京汉路一字摆开，首尾不能相顾，相对容易攻破。蒋介石为了消灭桂系，起用了唐生智。唐生智反蒋，谁都知道。宁、汉分立时唐生智与汪精卫联合，东征讨蒋，后来被李宗仁、白崇禧所败，下野去日，伺机再起。1928年他从日本到上海，国民党内的形势已经发生了很大的变化，蒋、桂矛盾激化，战争一触即发。在蒋、桂两派之间选择，他选择了蒋。唐生智虽然反蒋，但桂系把他赶下台时，蒋介石曾关照过他，所以他对桂系怀恨在心。对蒋则有所原谅。更何况他要东山再起，还得依靠蒋介石的力量支持。这样，蒋、唐这对昔日之敌，而今为友，在共同讨桂的目标下他们勾结起来。唐生智成了推倒白崇禧的一张王牌。
白崇禧带到河北的部队，即是打败唐生智后收编的唐氏旧部李品仙、廖磊的部队，其建制基本未动，只是白崇禧赶走了三十六军军长刘兴，换上了廖磊，番号变成五十三师。自进北平后，白所部想长驻河北，由于和阎锡山争利，受到阎的冷遇，日子并不好过。蒋介石提出裁兵，白崇禧主张戍边，欲带三五万人去开发西北，但手下官兵多是湖南人，又都希望早回湖南家乡，恰与白的想法相左。随着白氏在河北驻扎时间的延长以及戍边计划的披露，官兵普遍产生离心倾向，怀旧心理日强，希望唐生智能够东山再起，回到部队中来。这一倾向没有逃过蒋介石的眼睛。至此，蒋氏设计了扶唐驱白的计划。
1928年9月，蒋介石密命刘兴北上策动白崇禧部反正。刘兴被白崇禧赶走以后，对白恨之入骨。刘兴到天津后，即与他以前的幕僚长、当时的五十三师参谋长周武彝取得联系，周氏以办理三全大会代表报到手续做掩护，前往南京活动。之后便去上海拜访后唐生智。见到唐生智后，问唐是否想重返军界，重掌旧部？唐说：“我虽有此心，却无此力。”
“如果有人大力资助你呢？”周进一步追问。唐说，“当然求之不得！可是又谁知那些老部下的态度如何？”周说：“你的部下投到白崇禧的门下是不得已的权宜之计，如今也不情愿驻在河北。现在介公出资相助，你出面重新招回旧部不成问题。”
两人就这样敲定了。随后周由沪赴宁，向蒋介石表示他们竭诚拥护中央，要求唐生智重新指挥部队。蒋介石见他的部署已获成功，对周氏加以赞许，并指示他们立即动身北上。嗣后，唐生智携带巨款，在周武彝的陪同下乘日轮由上海北上去天津。
这边拉唐入伙，那边已打通了唐氏重返旧部的道路。蒋介石事前即派何成浚接替吴忠信北平行营主任的职务，旨在孤立白崇禧。又在平、津、唐地区传播唐生智复职的消息。白崇禧看到苗头不对，计划率部南下浦口，为蒋桂战争做准备。但此时部队公开闹事驱白，他的指挥已经失灵。白崇禧见局势已无法挽回，幸好廖磊与他关系很好，在廖氏的掩护下，化装乘日轮逃往上海。
这时，蒋、白已成了一对冤家。当蒋得知白乘日轮南下的确切消息后，密令上海卫戍司令熊式辉，待白到上海时立即将其逮捕，如该日轮拒绝搜查，可将该日轮击沉，日后再办国际交涉。这个信息被上海市长张定藩获知，张在北伐时作为白崇禧的部下，两人关系融洽，所以张将这一消息透露给李宗仁的夫人，李夫人当即找第四集团军驻沪办事处，和该处人员去日本轮船公司协商交涉，结果由王季文搭乘另一南下日轮，在吴淞口发出信号，使白氏所乘日轮停在港外，王季文与白崇禧互换轮船。这样，白崇禧未进上海，直趋广州，得以幸免。蒋介石要杀白崇禧是很坚决的，有一次，刘兴到宋子文公馆，便听到蒋对刘峙说：“你回去把部队准备好，等候命令。”然后蒋又同刘兴交谈了一些生活情况后，便以坚定的口气说：“我要你到北方去，把白崇禧指挥的军队夺过来，所需费用由宋子文给你准备……如果能抓到白崇禧，就把他杀了。”
这样，蒋介石就成功地上演了一出借唐生智这把刀杀白崇禧的好戏。虽杀白崇禧不着，但是桂系也无形中被暂时消灭了。
蒋介石对付地方势力，向来是打一派，拉一派；没有永久的敌人，更没有永久的朋友。而且，蒋介石总是拉拢比较弱的一派，共同对付强的。例如在阎锡山和冯玉祥之间，他总是拉拢阎锡山，抑制冯玉祥，不是因为他喜欢阎老西，只是阎的势力与冯相比比较弱，符合他瓦解地方势力的原则。更重要的是，他最害怕地方势力联合起来，共同对付他，他的另外一个原则是，尽量在地方势力之间制造矛盾，使他们心生嫌隙，最后各个击破。
1926年，国民军在广东誓师北伐后，冯玉祥和阎锡山分别在五原和山西宣布响应，共同对付北洋军阀。北伐进行得很顺利，仅仅用一年时间就打到长江流域。接着蒋介石发动反革命政变，制造了南京政府和武汉政府的尖锐对立，冯玉祥为了让蒋介石尽快北伐对付张作霖，极力反对武汉政府，声称要以武力支持蒋介石。
1928年，在成功地消灭武汉政府后，蒋介石由国民党中央推举为中央政治会议主席，并决定四个分会主席：广州政治分会主席李济深；武汉政治分会主席李宗仁；开封分会政治主席冯玉祥；太原政治分会主席阎锡山。国民党新军阀四大派别，决定继续北伐，攻击张作霖。国民党新军阀的总兵力达到70万人，张作霖的军队只有40万人。
蒋介石的第一集团军在津浦线上对付张宗昌，冯玉祥的第二集团军孙良诚部，在鲁西南一带与孙传芳作战。阎锡山兵出娘子关，攻击石家庄。
国民党军迅速北伐，张作霖看见大势已去，于6月2日发表出关通电，6月3日黯然离开北京，逃回东北。至此，北洋军阀政府历时16年，宣告结束，国民党北伐取得胜利。国民党的第二次北伐已经不同于第一次北伐，是新军阀的分赃活动。在旧中国，军阀为了扩张势力，最看中的是地盘，有地盘就有兵、有枪，也就有了政治地位。因此，北伐结束后不久，四大集团军就围绕如何分赃，各自动起了心思。
从功劳上讲，冯玉祥的第二大集团军为北伐出力最大，承担了主要的战斗，而且第二集团军英勇顽强，给人印象深刻。在北伐前，冯玉祥被北洋军阀赶到西北地区，西北地区向来土地贫瘠，人口稀少，是没有几分油水可捞的。冯玉祥十分想获得东部有油水可捞的地区，最好是北平和天津，仅仅对外海关收入一项，就比甘肃一省还要多。按照冯玉祥的想法，他肯定将得到这两块地方，因为二次北伐，他出力最大，对蒋介石的支持也最大，蒋介石肯定会投桃报李。
阎锡山也在打自己的算盘，山西军队在北伐中出关比较晚，刚出娘子关，重要战斗已经结束了，阎锡山自知自己的贡献比较少，但这并不意味着阎锡山不想乘机捞地盘。阎锡山虽然出力少，但其政治手段圆猾，诡计多端，是冯玉祥不能比的。阎锡山考虑蒋介石的军队都在南方，一时半刻不能驻扎在北方，所以与他相争的只能是第二集团军了，他明里暗里支持蒋介石，共同对付冯玉祥。1928年5月30日，蒋介石到石家庄，会谈之中，阎锡山挑拨道：“请你翻开历史看看，哪个人没吃过他（指冯玉祥）的亏？”蒋介石点头不语，阎锡山看到效果已经达到，随之就换了一个话题。
从蒋介石的角度来说，将华北的任何地方让给别人都是不可能接受的，但蒋介石也有难处，他的军队刚刚组建，很多都是杂牌，部队战斗力不强，还难以对付第二和第三集团军。如果在华北占领的地方太多，势必会使自己的军队战线拉长，造成冯玉祥和阎锡山的联合，这样自己就危险了。所以，华北地区是绝对不能要的，但华北给谁呢？作为中央政府，蒋介石的态度非常重要。
二次北伐后，四大集团军都有很大扩张。蒋介石的第一集团军和冯玉祥的第二集团军，都扩张到40万人，而第三集团军还只有不到20万人，第四集团军的人数更少。从实力对比看，冯玉祥与自己的力量最接近，威胁最大，而且第二集团军军纪严，战斗力强，这是更要注意的。如果将比较富裕的山东、北京和天津交给冯玉祥，刺刀加上金钱，不知道会给自己造成多大挑战。这时，巧于心计的蒋介石已经倾向于将北京和天津交给第三集团军了。但冯玉祥毕竟出力最多，如果战后“分赃不均”，第二集团军说不定会闹成兵变，到时又如何收拾？想了一会，蒋介石决定利用冯玉祥这个人爱面子、讲意气的缺点，用计涮他一次。
6月2日，蒋介石又到达新乡与冯玉祥见面，对于河北和北京、天津地盘的分配，先不表明自己的态度，而是征求冯的意见。冯玉祥久居西北贫瘠地区，十分希望得到北平和天津，但是他爱好面子，不愿意给人以争权夺利的印象，而且在内心也认为以上地方非自己莫属，就没有直接地说出自己的真实意图，而表示一切都听中央的。蒋介石看到冯玉祥果然上钩，就立即说出了把河北与北京、天津让给第三集团军的主张，并以公允的口吻说出了理由：
“第二集团军拥有鲁、豫、陕、甘、宁、青6省，不算少了，第三集团军才不过晋、冀、察、绥4省，也并不算多，况且平、津两地外交关系复杂，不易对付，万一发生意外，难保不造成第二个济南惨案，大哥性情刚直，不适宜和外国人打交道，就交给阎锡山去应付吧。”冯玉祥当然十二分的不乐意，但刚刚说过一切听中央的，话音未落就反悔，实在说不出口，只好继续装出无所谓的样子说：“只要军阀国贼铲除干净了，我就十分满足了，别的事情，怎么办都可以，还是请你酌定吧。”话虽然说得漂亮，但冯玉祥并不甘心，他认为，自古以来攻城得地都是“先入关者为王”。现在，蒋介石的权术使最先到达北京的阎锡山进城接收，冯军将领无不大骂。
虽然冯玉祥不满，但蒋介石抑制了第二集团军的发展，更何况驻扎北平、天津的不是第一集团军，而是第三集团军，冯玉祥将无名之火算到阎锡山头上，给二人的不和制造了潜在因素。这样，蒋介石就以中央名义居间调停，把如意算盘打得好精。
但蒋介石小看了他的对手，特别是阎锡山这个老狐狸，他自己知道无功受禄，来之不正，况且第二集团军地盘正跟自己挨着，兵力又比自己强大，如果打起来，就会两虎相争，必有一伤。到时蒋介石会不会帮助自己，就很难说了。所以，阎锡山占据了北平和天津后，就派人急忙跟冯玉祥修正关系，试图拉拢冯玉祥共同反蒋。蒋介石做梦也想不到的是，阎锡山的这一招居然应验了。北伐不久，阎锡山和冯玉祥开始联合反蒋。
蒋介石十分清楚，倒蒋的主要首领是阎锡山和冯玉祥，他认为上次买通了韩复榘、石友三讨冯而没有捉拿到冯玉祥，是一大遗憾；后来，施计策在郑州没有活捉到阎锡山，又是一大遗憾，反而使他们勾结起来造反。因此，这次中原大战，除了军事打击外，在政治宣传上得把阎锡山、冯玉祥搞臭。除了将阎冯罪恶行径公布于众外，蒋介石还亲自发布了《为讨伐阎冯告将士书》、《告国民革命军全体将士文》及《阎锡山扰乱党国叛迹昭彰》、《北方反动势力的丑态》、《阎冯勾结反动余孽捣乱情形》等檄文，大造讨伐阎、冯的舆论，争取人心。
4月8日，蒋介石带着其德国军事顾问到了徐州，主持召开军事会议，在研究讨论了作战部署后，蒋介石对与会的高级将领训话，他厉声说：
“阎逆实为祸首，冯逆同为逆魁，其余桂逆尚属局部之患！”
说着，他挥着手说：
“作战的关键问题，是对敌兵的杀伤。只有对敌兵的杀伤，才能解决战事。你们应当大胆放手地尽量利用我们的优势炮火，予敌人以重大的杀伤。”
是时，蒋介石用尖锐刺耳的声音，挥着拳头，声色俱厉，特别是对于“杀伤”两个字，更是加重了语气。
到这时，以阎冯为一方，以蒋为一方的中原大战已准备好了。当时双方的兵力部署是这样的：
阎锡山为首的倒蒋的联军，叫中华民国军，大致为八个方面军。即：桂军为第一方面军，由李宗仁统率，出兵湖南，进趋武汉；西北军为第二方面军，由冯玉祥统率，担任河南境内陇海、平汉两路作战任务，分向徐州、武汉进攻；晋军为第三方面军，由阎锡山统率，担任山东境内津浦、胶济两路作战任务，与第二方面军会攻徐州，然后沿津浦线南进，直捣南京；石友三部为第四方面军；内定张学良为第五方面军；内定刘文辉（四川）为第六方面军，何键（湖南）为第七方面军；又加派樊钟秀第八方面军总司令。倒蒋联军共70万人。