蒋介石面对着武汉方面的压力，难以招架，不得不致电总顾问鲍罗廷，要他到南昌面商一切，解决问题。鲍罗廷以为去南昌就意味着丧失威信，因而打定主意不去，发电拒绝了蒋的要求。蒋介石自知实力还不够强大，地位不够稳固，如与武汉方面公开闹翻，可能全盘皆失。所以，他只好违心地去武汉。
1月12日，蒋介石由九江抵达武汉。蒋在公开场合中，也不得不做一点表面文章，赞扬武汉人民收回汉口英租界的斗争，甚至说是近代历史上一段最光荣的历史。但是，他最关心的还是迁都问题，想摸清楚群众和领导层对这个问题的态度。人们的回答也不含糊。就在欢迎他的群众队伍里有着醒目的标语：“政府和总司令应当在武汉！”
1月15日蒋介石为招待农工商学兵及党部所举行的宴会上，各届人士都谈到了迁都问题，一致要求：为有利于革命的进行，把中央党部和国民政府迁到武汉。有的代表甚至提出责问：为什么要违背国民党中央迁都的决定和无理扣留来汉的中央委员和国民政府委员？工人代表李立三强调指出：为巩固革命中心，杜绝军阀与帝国主义的窥伺，武汉工人一致要求我们的中央党部、国民政府和总司令立即迁鄂。邓演达把大家的意见概括为：中央党部立刻迁武汉，国民政府立即迁武汉，总司令坐镇武汉。邓的讲话表达了大家的心愿，所以会场上出现了一呼百和、非常热烈的场面。蒋介石慑于群众激动的情绪和强烈的要求，不得不作一些迁就的答复：“各界要求党部政府来驻武汉，我当向中央转达，定可使各界希望能够满足。惟是总司令应随军事进展为转移，不能确定驻在地，虽然武汉民众表示热烈，此层还待斟酌。”群众的激昂情绪，使他感受到民心难违，颇为失望。
他在领导层中，也同样碰壁。在蒋到达武汉的当天晚上，鲍罗廷对他的反共和反对工农运动的倾向提出了严厉批评，蒋介石说：“当我到达武汉的第一天晚上，在宴会当中，我讲完了话，鲍罗廷……最后警告我说：‘蒋介石同志，我们3年以来，共事在患难之中，所做的事情应该晓得。如果有压迫农工、反对CP（中国共产党）的这种事情，我们无论如何要想法子来打倒的。”
蒋吃了鲍罗廷的批评以后，转向武汉临时中央党政联席会议成员，试图说服他们，改变意见，迁都南昌。但是，蒋介石的无理要求遭到大家的反对。委员们指出：南昌中央政治会议是非法的，是在不足法定人数的情况下作出的决定，不能否定广州中央政治会议的决议；迁都武汉是中央会议一致通过的，也是你蒋介石一再提议、赞成的，并向国内外正式公布，无论从内政、外交，还是军事、人心方面考虑，都不能再改变。但是蒋介石并没有因此而死心，在1月17日的武汉临时中央党政联席会议上，又提出了改都南昌的要求，同样遭到反对。
蒋介石回到南昌后并没有改弦易辙，而是继续想方设法对付武汉方面。
第一，他认为总顾问鲍罗廷是改都南昌的绊脚石，必须搬掉。于是，他征得谭延闽、戴季陶等人的同意，提出驱逐鲍的号召：“我希望党和政府一致使鲍罗廷离开。我们不必顾虑外界的议论，应该站在独立的立场确立革命行动。像鲍罗廷那样跋扈的人，如果不能很快地叫他走，怎么还能完成革命任务？”
第二，他与张静江串通一气，于1月21日、22日致电武汉，要求取消中央党政联席会议，在武汉的中央委员和国民政府委员到南昌商决迁都问题。他还声明，中央已在南昌办公，临时中央党政联席会议应停止办公，其名义亦应取消，企图造成既成事实，把南昌作为首都。为了达到这个目的，他继续扣留在赣中央委员和国民政府委员。
第三，派出他的得力于将戴季陶到武汉活动，游说、分化委员们，以便拉他们到南昌来办公。
武汉方面坚持原则，针锋相对。
第一，召开临时中央党政联席会议，迁都武汉。并声明，在南昌方面的中央委员和国民政府委员到武汉就职前，联席会议暂不取消，继续代行最高职权。
第二，派何香凝、顾孟余、邓演达去南昌，敦促蒋介石放行在赣中央委员和国民政府委员。
第三，制造舆论，施加压力。武汉共产党人、国民党左派宋庆龄、徐谦、邓演达、吴玉章、唐生智等人，分别发表文章和演说，阐明迁都武汉的主张，批评改都南昌的错误。各界人士和各机关团体也先后集会，纷纷致电南昌，抨击分裂活动，要求按照既定成议迅速迁都武汉。各报刊杂志也以迁都问题为中心议题，发表评论和报导。《向导》周报指出：“无论从经济政治交通和革命的历史意义上看，从国民党联席会议已定议案上看，国民政府应在武汉而绝不应在汉南，现在国民党的大多数领袖及各种群众大都同然一辞赞成武昌，不知蒋主张有何理由，如此坚持主张南昌。特别在政治的意义上，如果国民政府迁南昌便等于羞于本国革命民众见面。”
这时，在南昌的中央委员和国民政府委员，有的已不顾蒋介石一伙的阻挠，设法陆续离赣赴武汉。2月8日，仍被阻留在南昌的委员们集会，也不管蒋介石的反对，毅然宣布：“兹应民众及各团体要求，本日决议中央党部与国民政府迁至武汉。”在以后的一个星期里，在南昌的许多委员相继到达武汉。武汉方面考虑到中央委员和国民政府委员即将在武汉汇齐，即于2月16日举行联席会议，会上决定：“定下星期一（1月21日）开扩大会议，由临时联席会议召集武汉之中央执监委员、候补执监委员，共同开会，结束联常会议。”2月21日，扩大联席会议准时召开。会议高度评价武汉临时中央党政联席会议的工作，同时宣布联席会议到此结束，中央党部和国民政府分别在武汉即日正式办公。蒋介石见人心所向，大势已趋，出于无奈，只能表示拥护，并欢迎中央党部和国民政府迁都，还发表演说：武汉是全国的中心，也是政治变迁的策源地。我们党部和政府到了武汉，一定比在南昌发展得更快。
至此，蒋介石改都南昌宣告失败，蒋所挑起的迁都之争告一段落。
血染东南，对立下野
蒋介石在作充分准备之后，于1927年发动“四·一二”反革命政变，与国民党右派和新军阀一道大肆屠杀共产党和革命群众，喋血东南，他的南京“中央”在和武汉汪精卫“中央”的争权之中落在下风，蒋介石采用以退为进的手段，通电下野，以待时机。
蒋于3月26日到上海，决心“清党”。但他对报界发表谈话时仍否认他与武汉中央的强烈冲突，并说各领袖间仍和舟共济，无大不合处，国民党也不会分裂。3月28日李宗仁到上海，先见到白崇禧。这时白崇禧的总部已被工人群众包围，白很沮丧，表示要抑制上海工人运动。随后李又见蒋介石，蒋也面色沮丧，并且声音已经嘶哑，还口口声声说：“我不干了，我不干了！”李问其原因，他说何应钦要辞职，而且他已无法掌握第一军。这是因为黄埔学生对他反对武汉中央，反对鲍罗廷，又要“清党”的突然反向转变，不知所措，纷纷质问他。他不得不百般辩解，以至声音嘶哑。而且第一军第一师长薛岳和第二十一师师长严重，均有左倾迹象；刘峙第二师内，也军心不稳。总之是军心混乱。这是因为蒋以前的左倾讲话对学生和军队的印象太深了。
这时，蒋又问李宗仁怎么办？李宗仁回答：“以快刀斩乱麻的方式清党，把越轨的左倾幼稚分子镇压下去。”蒋又沮丧地说：“我的第一军靠不住了，怎么清党？”李宗仁则慨然答应以自己的第七军调驻南京附近，监视沪宁线上不稳的部队。同时自告奋勇，为蒋整顿第一军。这时蒋对李、白二人，真是言听计从。毫无疑问，李宗仁对蒋的清党支持和援助，起了重大作用，如没有第七军，蒋的“清党”运动很难顺利进行。
蒋之反共，不但有军人基础，还有上海财界的大力支持，没有钱，蒋同样什么事也干不成的。而张静江与上海财界的关系，又是蒋的天然经济靠山，使他可以得到上海财界的信赖与大力援助。
上海财界支持蒋进行反共，首先借给他200万元。而宋子文以武汉中央政府财长身份在“上海化缘多日”，却毫无所得。最后答应借给他300万元，但仍交蒋介石使用，宋分文未见。宋只好从苏联远东银行借50万元接济武汉。这说明上海财界支持蒋介石，而不支持武汉政府。
汉口中央银行被武汉政府封存后，各地银行又拒绝和武汉政府来往，武汉政府无奈，只好由汉口中央银行大印钞票，结果通货膨胀，武汉经济终于无法支持，而一败涂地。
而以常燕生为代表的一般知识界，也自然害怕传说的苏联无产阶级专政或独裁政治，害怕共产党。
这些都是蒋介石反苏反共的社会基础。
蒋介石有了支持，遂于3月29日和国民党中央监委吴稚晖、蔡元培、张人杰、张继、古应芬、李宗仁等在上海莫利哀路孙中山住宅召开了中央监委预备会议。该会“检举”中共党人假借容共政策，在国民党内发展组织，有“篡夺”国民党之阴谋。当时立即议决咨请中国国民党中央执行委员会，通电全国，推行“清党”运动，正式文件为“护党救国运动”。
这是蒋介石在武汉中央3月10日三中全会后，作出的第一个反应，也是双方对阵的第一个回合。
29日，蒋下令解散上海工人纠察队和取缔红色工会。
武汉中央也不示弱，便于4月1日，由中央执行委员会全体会议一致通过“蒋介石的行动是反革命，请予严惩”议案。并决议免除蒋的国民革命军总司令之职。这些议案和决议，因系36名中委中之33名所表决，当然完全合法。因此，从4月1日以后，蒋不再是原来国民政府和中央执委会所委任的总司令，已系另一个“总司令”。但蒋拒不交印，并说：“革命责任，不容推诿。”总之不辞职，再也不说他本来不想当总司令的话了。至此，武汉和蒋介石之间，已势必一战。
正是这一天，汪精卫自欧洲回国，抵达上海。吴稚晖、宋子文前去迎接。汪到上海后，对吴稚晖说，他本人也不赞成阶级革命和劳农专政，国民党和共产党也很难继续相安无事。但他又说必须尽力维持国共合作局面。他对蒋则说：“介石，这一回东南与武汉开战，如果你失败了，我们国民党必就此消灭，共产党必就此起来；如果你胜利了，国民党就要恢复到民国十三年以前的状况，……无论右派的军队，左派的党员，一定不会同你蒋介石合作，你在党里的生命怕要从此消灭。”
4月2日，上海中央监委蔡元培、吴稚晖、张静江、陈果夫兄弟、李煜瀛、李宗仁、黄绍竑等8人，也于当日在上海开会，由吴稚晖提出指控中共“亡党卖国”的报告，力主断然“清党”。他说：“将来中国果为共产党所盗窃，岂能逃苏俄直接之支配。”上呈中央执行委员会和蒋介石。
当时李济深、黄绍竑、白崇禧均先后发言，支持吴稚晖的报告，主张“清党”。李济深说：如果现在不清党，彭湃的农民运动会使“广东的局面……无法维持……”。
当日，蒋即答复吴稚晖请求“清党”的报告，并决定照办，但仍需电呈中央执委会全体公议共同处分。武汉中执委会当然不会通过，但蒋则不管这一切而一意“清党”，并立即将不稳各师调离上海。
蒋于4月3日在欢迎汪归国的欢迎词中表示拥护汪领导党政军一切，军政、民政、财政、外交均听汪精卫指导。蒋还特别劝汪不要到武汉去。他对汪说：“你如果真正为本党，那就要到南京去，然后再请武汉一般中央执行委员过来。如果你到武汉去，你还是要作本党的罪人。”蒋是想利用汪精卫将武汉中央委员拉过来，使他的未来政府合法化。
但汪因为忌恨蒋的“三·二○”政变，无论如何不肯与蒋合作，决心到武汉主持工作，然后慢慢排除中共势力，独握中枢再伺机与蒋决战。这是汪的心计，并未形诸于口、笔。以至于吴稚晖急得跪在汪面前，求汪留在南京。汪见吴跪，吓得赶紧避开，嘴里还不住地说：“稚老，你是老前辈，这样来，我受不了，我受不了！”会场非常紧张，而又令人啼笑皆非。汪始终不肯留在南京。
4月5日，正当汪与各中央监委开会时，报纸忽然登出《国共两党领袖汪兆铭、陈独秀联合宣言》。该宣言表示国共两党合作到底，绝不受人离间、中伤。此宣言一出，与会人士大哗，吴稚晖尤其气愤，当面挖苦汪以党魁自居，无人认可，也无此资格，说得汪极为难堪！汪氏至此，惟有赴武汉一途，遂赴武汉，出任国民政府主席。
4月7日，武汉召开紧急会议，鲍罗廷主张先进驻南京，以南京为首都。但蒋介石已于4月9日抢先人驻南京。蒋又先了一步。同日，白崇禧任上海戒严司令；李济深、黄绍竑电粤、桂两省实行“清党”，屠杀共产党员。
与此同时，南京中共党组织则于4月10日召开南京市民肃清反动分子大会，决议将反动分子交人民审判。会后，到蒋的总部请愿。
这几天，蒋在读曾国藩著作，当他读到“谤怨沸腾，万口嘲讥”时，十分动情，大有古今同叹之慨。
蒋于11日，断然下令全国开始“清党”。12日上午，上海在白崇禧指挥下，开始解散工人纠察队，搜查工人俱乐部等，并逮捕和枪杀共产党员。至13日，数万工人为此进行抗议游行。当大队到达宝山路时，周凤歧第二十六军第二师，突然用机枪向游行队伍扫射，当场打死三四百人，伤者无数。两广、浙、闽、苏、皖、湘、鄂等省也开始大量屠杀共产党员，不计其数。
蒋介石对杨虎、陈群说：“凡可以杀的，一律杀，宁可错杀，不可错放。”这就是“四·一二”大屠杀。至此，蒋已完全和武汉中央决裂，走上公开反共道路。
武汉中央于14日向全世界发出通电，指出：“蒋介石的叛国行为已暴露无遗，吾人要求全党同志，组织联合阵线，进行对抗叛国者。”同日，南京国民党召开南京二届四中全会，不承认武汉中委会。
蒋既已和武汉中央决裂，就径直组建南京政府。4月17日，蒋召开中央政治会议，议决改国都为南京。18日，南京国民政府正式成立并办公，声明“取消武汉中央党部和武汉国民政府”。选举胡汉民为南京国府主席。军委会和总政治部也相继成立。蒋仍任国民革命军总司令，吴稚晖任总政治部主任，陈铭枢任副主任。
17日，武汉中央开除蒋的党籍，罢免其一切职务，并对蒋明令通缉，18日，南京政府则通缉鲍罗廷和197名中共党人。
这时的南京政府，仍是不合法的，因为中央执行委员远不到三分之一的数目，实质上是个军人政府。
在南京政府成立大典上，蒋说中共是钻进铁扇公主肚子里的孙悟空，不将其消灭，就必将自取灭亡，受治于异族；并指责苏联为赤色帝国主义者；英美为白色帝国主义者。