蒋、阎双方电报频繁来往，唇枪舌剑，喋喋不休，所诘责的问题愈益尖锐，而所置措辞也更趋激烈。2月20日，阎锡山在复蒋的电报中，再次强调了“三全大会”的合法性问题，对实施编遣提出了“交兵于党”的意见，指出“惟党国是以党为主体，个人中心之武力，是党国之障碍，应一齐交还于党，再实行编遣”。蒋介石则反唇相讥，在2月22日给阎的电报中说是“今日本党之武力，乃总理千辛万苦，艰难缔造，付之吾人，以求国民革命之成功。中躬受总理之托付，创办党军，……今日惟服从党国之命令，执行党国所赋予之职权，以为党国扫除叛逆，何得指为个人中心之武力乎？兄于本党革命历史，或尚未尽明了，放骛礼让之虚名，责中正以引退，而不知兄议果见实行，无异为反动者解除本党武装，阻止本党革命，此中所以万万不敢从命也”。蒋介石这样说，无疑是把自己置于了总理继承人的位置，并把他的种种作为视为是中央授命的，是合法的，而阎锡山等则成了“党国叛逆”，其存在自然是不合法的，是必定要由中央来“扫除”的。阎锡山毫不示弱，23日即联名冯玉祥、李宗仁、何健、刘文辉等共45名反蒋派将领，向全国全党发表党统问题的通电，否定蒋介石占据中央权位的合法性。24日，又致电蒋，重申2月20日电报内容要点，并要求蒋介石交权于党，“亡羊补牢”。这实际上等于是向蒋介石下了最后通牒。蒋介石很快作出反击，2月26日致阎锡山的电报中，不但指责阎锡山拿三全代表大会做文章，是对中央的“诋毁”，指出当初三全代表的指派圈定，只是代表产生的方法问题，包括阎锡山在内的不少人也是竭力主张的，“且兄本身当选中央执行委员，已将一年。果不满于指派圈定，何以从无异议，亦不拒绝当选，忽于今日要挟中正同退，始振振有辞？真爱党爱国者，果如此乎？无怪论者 ，谓兄别有用心，仅以此为倡乱之口实而已”。而且最后还警告阎锡山“中犹冀兄之不致此，故不惮烦而再尽最后之忠告，结果无益之辩论，停止不祥之举动，临崖勒马，维持和平，固党国大幸也”。
阎锡山在与蒋介石电报论战的同时，还加紧了对反蒋联合阵线的组织。在这方面，他首先从政治上着手，来否定蒋介石南京中央政府的合法性，阎锡山为此把目光盯在了“改组派”身上。这个“改组派”是国民党二届四中全会上，蒋介石借口广州起义指责汪精卫是“共产党的尾巴”，排斥了汪精卫、陈公薄、顾孟余、甘乃光出席会议后，汪精卫这一派在1928年成立的一个组织“中国国民党改组同志会”，简称“改组派”。国民党第三次全国代表大会上，改组派主要领导人被开除，或被警告，从此处在了蒋介石的对立面。阎锡山虽然不喜欢改组派，但是由于改组派在政治上主张以一、二两次全国代表大会的精神恢复国民党“民众运动，组织纪律、反帝、党内民主”的“革命精神”，反对“恶化腐化势力，唤醒并组织社会上一切民主势力”的建党宗旨，实现国家外交、军事、政治、财政各个方面的统一。这些政治主张适应当时民众希望和平、民主建国的心理，也非常适合资产阶级改良主义者的口味，所以，汪精卫虽然手无寸铁，但他在国民党内仍有很高的威望和号召力，在1929年的反蒋浪潮中也一时成为各反蒋派“护党救国”的精神领袖，因此阎锡山极力想将汪精卫拉在自己一边。这样不仅利于各派反蒋实力的团结，而且一但倒蒋成功后也利于自己通过“党人治党，国人治国”的口号把握局势。而改组派自其中央负责人王乐平和潘行健在上海被杀害后，在蒋介石的巨大压力下，已难在南方立足，便将总部移至北平，也正需要与北方反蒋实力派相联络。阎锡山竖起反蒋旗帜，陈公薄、王法勤等改组派头面人物很快到平津与阎锡山的重要将领天津警备司令傅作义、北平警备司令李服赝、市长张荫梧、师长王靖国等人取得联系，双方逐步形成了“以阎锡山为首主持军政大计，以改组派的‘二届中央’为号召，集合全国反蒋的地方实力派，组成反蒋联合阵线”的共识。受蒋介石压制打击的国民党老右派“西山会议”的首领邹鲁、谢持、傅汝霖、覃振等人也来到天津，策动阎锡山反蒋。
其次，就是在军事上加强了与各反蒋实力派的联络。从军事实力上而言，反蒋实力派中，要数冯玉祥的第二集团军最强，当初阎锡山把冯玉祥接到山西就是出于这样的考虑，但由于中间受蒋介石利诱，他却又把冯玉祥软禁起来，这不能不引起西北军将领的愤怒，于是遂有了1929年12月鹿钟麟等人策划的西北军向蒋介石输诚，石友三准备进攻太原，借以从阎锡山手中解救冯玉祥的军事行动。冯玉祥事先已知鹿钟麟等策动的这一行动，但他是坚定的反蒋派，因而，乘此时机，冯玉祥派代表向阎锡山作了三点声明：一、石友三进兵之事冯完全不知；二、冯要同阎合作到底反蒋；三、事态紧急，请阎让冯速回军中，说服鹿、韩、石退兵，并以冯玉祥的名义保证决不做背信弃义之人。阎锡山这时也感到当初软禁冯玉祥是不明智的，现在在政治上的筹划已基本就绪，在军事上若不把冯玉祥联合在一起，就很难以倒蒋。于是，他决定放冯玉祥，对此，赵戴文坚决反对，因为他清楚如今阎蒋矛盾已经加深，大有兵戎相见之势，若放冯玉祥回去，大战很快就可能爆发，而阎锡山则认为“不放他二集团就跑了”。阎锡山决定后，即率领一干人马到五台县建安村去见冯玉祥，“同冯玉祥又抱头痛哭一番，彼此表示：‘同生死，共患难，反蒋到底’，并歃血为盟”（凌勉之：《中原大战前的冯玉祥》，《文史资料选辑》第52辑，第122页）。3月8日，冯玉祥在太原与阎锡山话别，他不但拿到了与阎锡山一致反蒋的协议，而且还得到了阎锡山赠送的现款50万元、花筒手提机枪200挺、面粉2000袋。在反蒋的共同前提下，阎、冯再度携手合作。
与此同时，阎锡山还对各方军事实力派进行了合纵连横。北伐后不久，即被蒋介石打下台去的李宗仁、白崇禧，其第三集团军虽然受到蒋介石打击，元气大伤，但仍有相当军事实力，一直想报前仇，所以对联合反蒋态度十分积极，为此他们曾派代表潘宜之赴晋，对促成晋、桂联合穿针引线，做了大量工作。在此基础上，3月初，阎锡山电邀各派主要人物到太原共议“国是”。李宗仁即派叶琪、胡宗铎、麦焕章等桂系核心人物到会，他自己也欣然就任“陆海空军副司令”一职。
对于投蒋的石友三、韩复榘，阎锡山也积极争取。他清楚，蒋介石对于石、韩这些非嫡系部队仅是拉拢利用而已，如果能把石友三争取过来，不但可使之驻防的新乡这一平汉、津浦交通要冲为已所有，而且因其军力较强，也可壮大反蒋军事力量。于是他许以赵丕廉相机用款权限，到新乡与石友三联络反蒋事宜。出于利害，石友三痛快答应反蒋，赵丕廉当面许以其军费80万元。不料赵回来复命时，阎嫌其出手太大方，不愿认可赵许石之军费，并另派人去与石联系，石为此大为恼火，后经韩复榘劝解，始派人去太原见阎，接受了阎委任的第四方面军总司令一职和50万元开拔费，归顺了反蒋阵营。在此前后，驻河南的刘镇华、任应歧，驻安徽亳州的孙殿英，驻山东的高桂滋等北方大小实力派，对于蒋介石消灭异己的做法都感到如芒在背，他们在阎锡山的拉拢下，也都投入反蒋阵线。就连远在四川的刘文辉以及湖南的何健，也主动派代表到晋洽款，愿奉阎锡山为反蒋盟主。阎锡山逐渐成了反蒋派公认的领袖人物，纳入他麾下的反蒋军事力量，已有原来的第二、三、四集团军和不少杂牌军，而其所驻地区，除大部在华北、中原外，还有一部分分布于南方一些省份，在整个态势上，比拥蒋实力派较为占优。
除此之外，阎锡山对张学良也积极争取，但结果却不甚理想。这除了阎锡山的优柔寡断、出尔反尔外，其经济上的拮据，也是一个重要的原因。张学良是东北地区军事力量最强的实力派，且与阎锡山有着良好的个人关系。张学良因也受蒋介石的狭制，因而具有反蒋的政治基础，一旦把张学良争取过来，不仅可增加一支反蒋的生力军，同时也可彻底解除阎锡山在北方的后顾之忧。可是就在阎锡山对各方面联络成熟，并拟好了讨蒋通电，将电稿刚刚给张学良发走后，赵戴文携蒋之命回到太原，劝阎放弃反蒋，说是“委座正在治理国家大事，全国人都很厌战，希望过太平日子，你这样做，就不怕挨天下人的骂？再者，我在南京一年多，深知他的内部对他信仰很深，已经成了铁桶子，军队力量也很强大。你以为联合的人不少，还不是乌合之众吗？这些人见利则争，见害就避，打起仗来，哪能靠得住？你要打他，不是自取灭亡吗？你看，来太原劝你的这些人，多半是一些流氓政客和失意军人，你怎能听他们的鬼话呢？这不是叫他们把你迷糊透了”（周玳：《阎锡山发动中原大战概述》，《文史资料选辑》第16辑，第36页）。赵戴文是辛亥元老，崇奉儒家之学，他虽然与阎锡山素有“半师半友”之公认关系，但他却一向视蒋介石为孙中山的“正宗”传人，认为反蒋各派均系“称兵作乱”，况且，蒋介石对他不薄，现在被委为监察院院长，还许诺将来让他兼任国府主席，因此，他才这样劝。阎锡山听他这么一说，觉得也有些道理，反蒋决心有点动摇，遂电告张学良暂停发通电。张学良不知原委，特派秘书长王树翰携“宁事息人”的“国事主张”到太原联络。张接到王的报告后，对阎在政治上的出尔反尔很为不满。事后，阎再度决定通电讨蒋，已不便再请张在电报上署名，只得先派薛笃弼、贾景德赴沈阳向张学良解释，但张已被蒋介石先期派去的吴铁城、何成浚、方本仁所说动，对阎锡山的代表只是虚与委蛇。
其实，张学良的被吴铁城、何成浚说动，倒不如说是被蒋介石的重金打动。在蒋、阎相互争斗不可开交的情况下，张学良可谓举足轻重。他拥蒋则蒋胜，附阎则阎胜。蒋介石、阎锡山双方对此看得很明白。张学良也清楚自己在双方争斗中的重要作用，本来在唐生智事变后，他认为蒋介石力量加强了，阎的威信降低了，因而，他曾对其亲信说，以后不可再轻言反蒋，但阎、冯若真停止反蒋，东北对于南京的压力，仍然无法减轻，蒋介石对他自然也不会放心，所以，他又不敢说不反蒋。这也是他当初答应阎锡山由沈阳发出讨蒋通电的原因。可是阎锡山却出尔反尔，这不免使他对阎产生不满。恰在此时，蒋介石派来的吴铁城“建议蒋介石以各种名义（高价买沈阳兵工厂的武器、发行公债、拨给出兵费等）送给张约2000万元，还通过请客送礼等手段，收买了张学良周围的高级幕僚、秘书、副官以至卫士。有一次，吴设宴招待东北军政要员，饭后打麻将，开了十几桌，每人抽屉里放了两万元，输赢都归你。所以，吴何时想见张，都会受到接待。而阎派去的代表贾景德和薛笃弼，贾只带了1000元，薛只带了500元，除了开支自己的路费和食宿以外，几乎没钱贿赂张的左右，所以在商谈过一次之后，再想见面，均被挡驾”（刘存善等编著：《阎锡山的经济谋略与诀窍》山西经济出版社1994年8月版，第51—52页）。张学良在重金收买之下，自然倾向于蒋。不过他与阎有共同讨蒋之约在先，不能这么简单地拒绝，因而以“东北处境困难”，老前辈们“通不过”为由，客气地拒绝了阎的要求，并说经他一再争执，“决定采取善意的中立，就是对蒋先生这一战争，东北决定中立，但对阎先生，我们要加上善意两字，请转达阎先生多加原谅为感”（梁航标：《一九二七至一九三一年的蒋阎关系》，《山西文史资料》第7辑，第9—10页）。阎锡山对张学良的争取虽然不甚成功，但能做到让张学良“采取善意的中立”，也算是一个不小的收获。张学良言而有信，中原大战开始后一度保持了善意“中立”，这也是阎、冯联军取得暂时胜利的重要原因。然而，也正是因为阎锡山在争取张学良上的出尔反尔及其在金钱拉拢方面大不如蒋介石阔绰，才使得张学良最后倒向了蒋介石，导致了阎冯联军的最终失败。从这一点上来讲，似乎双方大战未开，已经可以料定谁胜谁负了。
随着阎锡山在政治上、军事上组织反蒋联盟活动的加紧，阎、蒋之间的电报论战也迅速升温，字里行间的火药味愈来愈浓。当蒋致电阎锡山要其“临崖勒马”的电报发出后，由于阎锡山于2月25日去建安与冯玉祥已经取得一致，所以，在3月3日给南京中央党部、国民政府及蒋本人发去辞职的电报，准备另立炉灶，与蒋以武力说话了。对于阎锡山的这一手，蒋介石已经料到，在阎锡山于2月28日给蒋的电报中表示不与蒋再作口舌之争时，蒋介石即于3月1日在国民党三届二中全会上，通过了开除汪精卫党籍，查明阎锡山行动之真相等议案，并在济南方面进行了军事部署，以对付阎冯联军。针对蒋介石此举，反蒋一方很快作出反应，3月14日，以鹿钟麟、商震、黄绍竑为首的原第二、三、四各集团军57名将领联名向全国发出责蒋通电，历数蒋介石“非法毁党”，“造成以个人为中心之武力，故冒不韪而弗恤”，“天下为私”，“但知利己，手段故自不择”等十大罪状。3月15日，他们又联名通电拥戴阎锡山为中华民国陆海空军总司令，冯玉祥、张学良、李宗仁为副总司令。4月1日，阎锡山、冯玉祥、李宗仁分别通电就任总、副司令一职。阎锡山在其就职通电中又对蒋介石进行了兵戎相见前的最后一次口诛笔伐，斥责蒋介石“使党权高于一切之党，变而为一人之化身，专制独裁，为所欲为。而政治上之一切错误，其责任悉归于党，以至贿赂公行，国人不敢诘责，土匪遍国，政府不加过问。筹巨款，借巨债，无非成全其篡窃之具；张挞伐、行暗杀，无非私张其篡窃之威，党不党矣，政不政矣，民不聊生矣……兹不得已，从党员之催促，并军民之请求，谨于中华民国十九年四月一日宣誓就中华民国陆海空军总司令，统帅各军，陈师中原，以救党国”。
蒋介石很快作出反击，国民政府于4月5日发出对阎锡山的免职并缉拿令。缉拿令中也对阎锡山自辛亥革命以来至最近与国民党的关系大加贬损，说阎“素昔狡诈，辛亥革命，遭遇时会，僭窃一省”，“袁氏叛国，该逆竞怀禄贪势，反颜事仇，……迄袁氏称帝，该逆率先劝进”，“去年李、白、冯、唐之乱多为该逆所潜煽，一方密请政府声罪讨冯，一方密款冯氏以劫持政府”“阎锡山应即免去本兼各职，着京内外各省政府、各军队一体严拿归案讯办，以儆奸凶，而申法纪”。同时蒋介石还以国民革命军总司令名义发出《为讨伐阎冯两逆告将士书》，罗列了阎、冯二人“存封建之心理，具军阀之积习”，“处心积虑必欲破坏统一”等罪状，要求各将士“忠勇奋发，灭此朝食，以竞革命之全功而奠国基于永固”。