面对苏联顾问的退让，蒋介石则一面与苏联修好一面则“得寸进尺”——实际上这也是在收获中山舰事件的胜利果实。4月2日，也就是在“弥补”中山舰事件的过程中，蒋介石不动声色地就提出了“整理党务案”，该案共计9条：
（1）凡他党党员加入国民党者，各该党应训练其党员明了国民党的基础是孙中山所创的三民主义，对于孙中山总理及三民主义不得加以怀疑及批评；
（2）凡他党党员加入国民党者，各该党应将其加入本党党员的名册交给本党中央执行委员会主席保存；
（3）凡他党党员加入国民党者，在高级党部任执行委员时，其额数不得超过各该党部执行委员会总数的三分之一；
（4）凡他党党员加入国民党者，不得充任国民党中央机关的部长；
（5）凡属于国民党党籍者，不得在党部许可以外有任何国民党名义召集党务集会；
（6）凡属国民党党籍者，非得有最高级党部许可，不得有政治关系的组织及行动；
（7）对于加入国民党的其他党党员，各该党所发的一切训令，应先交国共两党联系会议通过，如有特别紧急事故，来不及提出通过时，应将此项训令请求联系会议追认；
（8）国民党党员未经准许脱党之前，不得加入其他党籍，如果脱离国民党党籍而加入其他党者，不得再加入国民党；
（9）国民党党员违反以上各项时，应立即取消党籍，或依其所犯错误程度，加以惩罚。
这个提案同样也是既打击了共产党也打击了国民党右派。4月3日，他在通电谴责西山会议派之后，就向国民党中央提出立即召集全体中央执行委员会会议，整顿纪律，加强对国民党中的共产党活动的管理；在军队中党代表制度也暂时不取消，但不再由跨党党员担任，而是由只信仰三民主义的党员担任，共产党员应退出。
蒋介石建议，对共产党员应该采取一系列严格管理和限制，如取消取消共产党在国民党内的一切秘密团体及秘密行动；共产党对其党员的训令及策略，应通知国民党最高干部；在国民党内的共产党员名册应交给国民党最高干部；担任国民党中央党部组织、宣传部部长的党员，其党龄应在5年以上。
对苏联顾问问题，蒋介石也提出了苏联顾问的权限问题，他认为苏联顾问应该：1）不宜把持要职，与希图集中权力于顾问之举；（2）使中国革命有自动的能力，不限于被动地位；（3）辞去行政长官职权，以顾问资格，辅助中国革命；（4）对于国民党及军队条例，如有贡献，应以中国革命全体利害为立足点。
对于广州政局的变化，尽管苏联对外宣传为英帝国主义的挑拨、挑衅，但实际上莫斯科对广州的未来政治走向还是有很大的争论的。
4月24日，联共（布）党员穆辛向联共（布）中央政治局提交了一份报告。穆辛报告首先分析了广州中山舰事件后的局势，他认为这种局势蕴藏着新的危险，蒋介石轻易地发动“半暴动”说明国民党左派领导存在软弱性，当时，汪精卫、朱培德、谭延闿等势力不如蒋介石集团强大，两者之间的不和如果继续下去的话就会产生严重的分裂，最终导致广州国民政府垮台。而如果广州国民政府垮台，那么中国革命之前的成绩就很可能就付诸东流，因为北方的吴佩孚、孙传芳、张作霖等反动势力十分强大，当广州出现分裂时，北方军阀就能亲轻易地攻占广州。因此，穆辛认为，现在最紧迫的任务就是“联合和团结国民党左派在广州政府中和在党的中央执行委员会政治委员会中的主要核心力量，重新使汪精卫复职，使这一派（指汪精卫、蒋介石联盟—引者注）联合和团结起来”，此时，应该把蒋介石仍看作是革命运动方面的一个重要力量，而“排挤或不让蒋介石或汪精卫积极参与领导政治生活，这会造成致命的后果”。
穆辛认为，蒋介石的是因为对中国共产党感到担忧，因此要对中共取得监督权，鲍罗廷对蒋介石的意图了解的不够，也因此事先未采取任何措施。他建议，应该相信国民党的左派，也让国民党左派相信莫斯科，莫斯科“不是在从事反对他们的工作，而相反是在为巩固和发展国民党本身，为巩固和发展它的国家机关和国民革命军而工作”，在实际工作中，无论是苏联顾问还是中国共产党都应该认清自身的地位，“决不允许突出共产党人，让共产党人占据太重要的职位，试图取代最高指挥人员和政工人员”。
接到穆辛报告后，联共（布）中央政治局召开会议讨论中国问题，出席会议的有契切林、李维诺夫、温施利赫特、维经斯基、拉狄克。会议最后认为必须维持广州国民政府的统一，避免国共分裂，“这种破裂是绝对不能允许的”，就中共与国民党的组织上，允许“向国民党左派作出让步，重新安排人员，以便基本上保持目前的组织关系”。这次会议实际上也有激烈的争论，斯大林认为应该让中国共产党与国民党建立统一战线，但托洛茨基坚持认为中国共产党不应该加入国民党。斯大林认为，如果中国共产党被迫退出国民党，那么苏联人可能被赶出广州，那对莫斯科来说是一件很不光彩的事，所以，应该对国民党作出让步，换取中国共产党留在国民党内。
4月29日，鲍罗廷匆忙返回广州，第二天他就来到黄埔军校与蒋介石进行了会谈，但他没想到，蒋介石在会谈中直截了当地告诉他，胡汉民建议不要再相信鲍罗廷，应该扣留他。这让鲍罗廷感到惊讶，他没有想到，他一回到广州蒋介石就用胡汉民的话给他来了个下马威。尽管他知道蒋介石还不至于扣留他，但今非昔比却是事实——以前，他的门前车马喧嚣，广州的大小官员纷纷前来拜会、求助、问策，现在，他是门前冷落车马稀；以前，汪精卫、蒋介石等国民党高官要员总要来他的宅第请教，现在，他需要登门去蒋介石、张静江的官邸当顾问。名义上，现在广州的大事是由蒋介石、鲍罗廷、张静江三人密谈决策，但实际上鲍罗廷此时就是真正的顾问。鲍罗廷此时不由地真正担心起蒋介石的对俄政策，“俄国人会不会被逼离开广州”？来自香港的消息是广州国民政府计划要驱赶所有俄国人，还有可能要实行分共，表面上在广州苏联顾问们还高高在上，但鲍罗廷已经嗅到了寒冬的味道。这不由地让他紧张起来，眼前要做的事情就是赶紧弥补莫斯科和蒋介石之间的关系，“至于国共关系和汪精卫的去留似乎都成为次要的了”——蒋介石通过中山舰事件可以说是一件三雕：既打击了苏联顾问和共产党人，也打击了戴季陶等右派，又打击了汪精卫集团，原本支持汪精卫的季山嘉被驱逐出了广州，换回了支持他的鲍罗廷，汪精卫失去了苏联的强大支持；国民党右派被蒋介石名义上批评，但却实际上与蒋建立了联盟；国民党左派及共产党遭到排挤，在党内受到限制，在军队被清除。因此，鲍罗廷曾经策划的汪蒋合作全面失败，变成了蒋介石独大的局面。
在莫斯科呆了半年的胡汉民此时已经返回广州，蒋介石迅速和胡汉民、孙科、伍朝枢、吴铁城等右派走到了一起，胡汉民提出的口号是“党外无党、党内无派”，很明显，这是在积极推动蒋介石反共，而蒋介石与右派合作显然也是在借势，他在充分利用苏联顾问、右派打击左派和汪精卫集团。
鲍罗廷此时也就面临一个难题，那就是现在他必须放弃汪蒋联合的幻想，而在两者之中作出选择。张国焘回忆说，鲍罗廷曾与他谈起国民党领导人的问题，鲍罗廷说，现在汪精卫不愿意挺身而出，别人也就没有什么办法。胡汉民企图推动蒋介石全面反苏，这他倒不是很担心，因为蒋介石还不至于如此行事。张国焘从鲍罗廷的谈话中已经意识到，国民党的领导权已经发生了变化，新领导人已经确定，是谁自然不难想象。
不过，鲍罗廷也不是一味地退让，他手里还有一张重要的牌，那就是来自莫斯科的军事援助——蒋介石要北伐，那就必须获得莫斯科的军事援助，否则北伐不过是一个幻影。鲍罗廷因此对张国焘说：蒋介石“唯一可以指望的东西，是我口袋里还有一些草”。因此，鲍罗廷也向蒋介石作了些暗示，他可以使莫斯科成为蒋介石强大的后盾。为此，鲍罗廷与蒋介石在5月份进行了紧锣密鼓的谈判，从5月1日至5月14日，据《蒋介石年谱》记载，蒋介石和鲍罗廷先后进行了数次会谈：
5月1日晚，蒋介石与鲍罗廷初步会谈，进行了约4小时，两人就中国局势进行了广泛的谈论；
7日晚，蒋介石与鲍罗廷再次会谈，这次一直谈到凌晨3时；
12日，蒋介石会见张人杰和鲍罗廷，议题主要是党务与政务。会谈继续到下午，双方就整理党务案商谈具体条款；
13日，蒋介石拟定了“国共妥协条件”。当晚，蒋介石与鲍罗廷再次商谈整理党务案具体内容。
14日，蒋介石与鲍罗廷再次就“国共妥协条件”进行谈判。
双方会谈的焦点就是整理党务案，鲍罗廷认为蒋介石的提案内容太过苛刻，但蒋介石认为大党内部允许小党活动，“无异于自取灭亡”，不加限制不行。但蒋介石也表示，联俄、联共是孙中山的既定政策，“余犹不愿违教分裂，忍痛至今”。
这次艰苦的谈判在5月9日取得三点共识：（1）鲍罗廷不对蒋介石在中山舰事件前后的所作所为作出指责，承认蒋介石目前所取得的权力，也同意蒋介石限制中共党员的提案；（2）鲍罗廷将苏联提供的军事物资，全部交给蒋介石；（3）蒋介石答应继续聘请鲍罗廷担任高级顾问，并接受鲍罗廷提出的打击右派的意见。
最终，蒋介石与鲍罗廷达成了八项协议：
（1）共产党应训令其党员改善对于共产党的言论态度，尤其对于总理及三民主义，不许加以批评及怀疑；
（2）共产党应将国民党内之共产党员全部名册，交国民党中央执行委员会主席保管；
（3）国民党中央党部各部长须不跨党者充任；
（4）凡属于国民党党籍者，不许在党的许可外，有任何以国民党名义召集党务会议；
（5）凡属国民党党籍者，非得有最高党部的命令不得别有组织及行动；
（6）中国共产党及第三国际对于国民党内共产分子所发的一切训令及策略，应先交国共联系会议通过；
（7）国民党员未经准许脱党以前，不得入其他党籍；如既脱党籍而加入共产党者，以后不得再入国民党；
（8）党员违反以上各项时，应立即取消其党籍，并依其所犯程度加以惩罚。
这是一份两人互相妥协的协议，蒋介石达到了限制苏联顾问和中国共产党的目的，也压制了国民党内的右派，而鲍罗廷也达到了莫斯科的要求，即维持共产党在国民党内存在。
蒋介石在回忆两人商谈整理党务案时这样说过：“当鲍罗廷与我会商这个办法时，对我的态度极为缓和。凡我所提主张，都作合理的解决。”
在中山舰事件中，中共的地位成了问题的关键，但中共实际上不但没有发言权反而还成了事件的替罪羊。鲍罗廷在与蒋介石谈判时，还曾召集中共广东区委会议，在会上指责中国共产党在中山舰事件前不应该采取妥协退让政策，也指责中共在上海与国民党右派的孙科、叶楚伧等人的谈判，他说这是在向国民党示弱，结果导致国民党敢于采取行动。实际上，鲍罗廷这种指责是在推托责任，故意把中山舰事件的责任推托在中共身上，张太雷一语道破了其中的玄机，他说：“如果说是由于鲍罗廷的错误，他亦将无法继续工作。只有说成是由于中共中央某一短暂时期的措施有所偏差，才是牵动不大的交代”，也就是说，为了维持莫斯科和广州之间的联盟，中共不得不背上这个黑锅。毛泽东、张国焘对此都很不满意，毛泽东说“这个假洋鬼子居然玩弄这样的政治手腕”，为此辞去了国民政府宣传部长一职；张国焘也想要去上海，“以示不与鲍共同负责之意”，因为鲍罗廷当时与蒋介石、张静江组成三人团，共同决策，而将中共排除在外，三人间进行密议，对中共却保密。
为了保持与蒋介石的合作，就在鲍罗廷与蒋介石谈判的5月上旬，一批莫斯科的军火运抵广州，中共于是要求从军火中分出一部分给中共领导的部队，但鲍罗廷一口拒绝。张国焘为此恼火地问鲍罗廷，苏联政府能够将大批军火运送给不可靠的蒋介石，为什么就不能给中国共产党一小部分？他说，“如果苏俄政府愿意这样做的话，中共可以经过工人纠察队和农民自卫队所控制的港口，协助解决运输上的困难”。
实际上，鲍罗廷秉承莫斯科的意图，根本就没有希望由中国共产党来挑大梁。张国焘曾问鲍罗廷：“国共关系会有怎样的变化？”
鲍罗廷的回答很让共产党人感到苦涩，他说：“中共似乎是命中注定要做中国革命的苦力”。
5月15日，国民党二届二中全会在广州召开，蒋介石担任了当天大会的执行主席。在这次大会上蒋介石提出了4项提案：《整理党务案》、《选举中央执行委员会主席案》、《国民党与共产党协定事项案》以及《全体党员重新登记案》。《整理党务案》主要内容是：一，提出了整理党务案的四项原则，即改善国民党与中国共产党的关系；纠正两党党员妨碍两党合作的行动与言论；保障国民党党纲党章的统一权威；确定中国共产党员加入国民党的地位与意义。二，建立一个国共两党联系会议，审查两党党员妨碍合作的行动、言论及各种纠纷，协定两党有关联的各种重要事件。
5月16日，蒋介石与鲍罗廷再次会面，蒋介石向鲍罗廷表示，革命必须要统制，否则就会造成混乱，小党胜于大党，革命难以协调一致。无论怎样，蒋介石与鲍罗廷的谈判算是告一段落，因而，蒋介石当晚欣然前往鲍罗廷公馆看电影。
会议撤销了汪精卫的领导职务，谭延闿接替汪精卫当选为国民党中央政治会议主席兼国民政府主席，张静江担任国民党中央执行委员会主席，蒋介石担任国民党中央组织部长和国民党军人部长，决策核心仍是蒋介石、鲍罗廷和张静江三人。
这次会议实际上成了蒋介石的胜利之会，对苏联顾问及共产党方面，他直言不讳地说：“此时共产党夺取广州基地的阴谋既已失败”；对国民党内部，他既控制了右派也沉重打击了汪精卫集团。对此，鲍罗廷只能说些保存颜面地话，他说：“我们没有被驱逐出广东，那就显示我们仍有胜利的机会。只此一点，就可以证明我们的处理方针并不算是完全错误的”。他也对彭述之说：“我也知道，蒋介石有很多严重的缺点，但在现时的国民党中，没有人像他有力量有决心，足以打击右派的反革命阴谋。因此，为了打开当前极度危险的僵局，我们不得不对蒋作最大限度的让步，承认他从三月二十日以来所取得的权力，不要反对他的整理党务案，并支持他尽快北伐”。
其实，蒋介石真正的目的就是打击黄埔军校以外的任何势力，各种势力争斗了一番，最后发现，除了蒋介石的黄埔势力，其他没有任何一个势力感到高兴，张国焘建议中国共产党退出国民党，专心从事工农运动；谭平山要联合李济深和其他国民党元老共同对抗蒋介石；鲍罗廷在此后暗示要从反对张静江入手，改变局面。
不论怎样，广州经历了一场风雨后至少表面平静下来，5月22日，会议宣布即将进行北伐。6月5日，蒋介石就任国民革命军总司令，并且接替张静江担任了国民党中央执行委员会常务委员会主席，至此，可以说，蒋介石已经实权在握。