每当二人争论起来，袁世凯理屈词穷时，就用一种耍无赖的口气说：“我是没有几天好做的。这个位置早晚要让给你们的”。
有时在集会上，袁世凯也公开对唐绍仪说：“少川，吾老矣，子其为总统”。
这等于说唐绍仪想当总统。二人之间的关系更加恶化了。
正在这时，王芝祥督直事件促成了矛盾的激化。本来王芝祥任直隶总督在唐绍仪组阁时就与同盟会达成了口头协议，当时唐向袁讲过，袁表示“此事好商量”。谁知袁的许诺，不过是权宜之计。唐轻信袁已同意，便通知了直隶人士。顺直议会(包括顺天府在内的直隶省议会)跟着作出了推选王芝祥作直隶总督的决议。孙中山为此特致电袁世凯，请其按照顺直议会决案加以委任。但直隶即是北洋，为袁发迹的地方，他不允许外人插足进来，更不能听任一个接近同盟会的军人控制军权。故王芝祥到京后，他表面上对其称誉不绝，请其吃饭，并聘为高等顾问，背后却来个一石二鸟之计。正当大家等待袁发任命书时，直隶五路军队突然发出反对王芝祥督直的通电，并遍发匿名信，威吓请王督直的各界人士。6月2日袁同时发出两令，一令说：“都督统辖文武，责任重大，任免之权理宜操自中央”，本省人民不能“随意迎拒”。查明请王督直的电报，是否“系奸人托名擅电”，若是，即依法严惩。另一令是“斥责”军人不应“拒迎主将”“不许军人干涉政治”。表面上他不偏不倚，实际以军队反对为由拒绝了唐的推荐，提出让王任南京宣抚使，帮助黄兴解散留守部队。这个问题直接关系到内阁的威信和职权。如不坚持，将来内阁势必降为总统府的一个附属机关。因此，唐不接受袁的意见，一再申述要尊重《约法》，不要失信于直隶人民。袁说：“王系革命党人，若使督直，不啻引狼入室，将来他和南方联合，我们尚有余地么？”唐说：“前既答应，现在何能食言？”袁说：“是你答应的，我并未预闻”。唐又说：“这是责任内阁职权，我要发表”。袁说：“我不盖印，就能生效么？”袁不给唐盖印，唐亦拒绝在袁委王为南京宣抚使的命令上签字，进行抵制。
6月15日，袁世凯竟然将未经内阁副署的委任状交给王芝样。这是违背《约法》，破坏内阁的重大事件，但并未引起作为立法机关的参议院的重视，大多把它看做袁、唐个人间的意气之争。因而未给唐以应有的支持。那个引起双方争论的王芝祥尤其不争气，在拿到一笔远远超过实际需要的宣抚经费，经袁示意余款不必上交后，觉得当宣抚使比做直督实惠，便心安理得地南下了。袁的心腹大将、干女婿冯国璋趁机做上了直隶总督。
唐绍仪见袁逼迫太甚，便激流勇退，于17日以生病为由，留下一道辞呈，不告而别，溜到天津去了。这正中袁的下怀，但他还要做一番表面文章。先是准唐请假，以陆征祥代国务总理，继之命梁士诒和段祺瑞前往天津挽留。梁在挽留时曾谈及袁唐私交甚厚的问题。唐说：“我与项城交谊，君所深知。但观察今日国家大势，统一中国，非项城莫办；而欲治理中国，非项城诚心与同国民党合作不可。然三月以来，审机度势，恐将来终于事与愿违，故不如及早为计也。国家大事，我又何能以私交徇公义哉！”态度很坚决。6月27日，袁在唐的辞呈上批道：“该总理于共和宣布以前，南北奔驰，为民国效劳甚至。及就任总理，经营擘画，错节盘根，困苦艰难，非可言喻。民国草创，正赖长才，岂容听其退休，失兹臂助。特以情词恳挚，出于至诚，不得不谅其苦衷，遂厥初服，应即准如所请，免国务总理本官，任为高级政治顾问。仍望趁此宽闲，勉自调护，以养疴之余暇，备政治之谘询，将来倚重正多，当有以副国民之望”。至此，不听话的唐绍仪正式下台了，遂了袁的心愿。
在唐绍仪被逼辞职之后，参议院没有提出对袁的弹劾案，同盟会遂避开违宪问题，想在下届内阁人选上得到补救。6月20日，同盟会代表四人谒见袁世凯，提出：鉴于混合内阁失败，应组织政党内阁或无党派超然内阁。如仍组织混合内阁，同盟会决定不再参加。袁不赞成。他说：“非联合数党及无党之人共同组织。则断不能成一美满之内阁”。“余之主义在于得人，但问其才与不才，无论其党与不党”。“余之主旨在于建设民国。君如热心建设者，余皆引为同志，否则余不能强人所难”。他还意味深长地说：“余奉告诸君，当放大眼光，从中国全局着眼，从世界大势着眼，断不可沾沾于一党之关系，亦不能硬以和平时代政党更代消长之成例，适用于今日危急存亡之中国。总须大家破除成见。协力同心，共同建设。为国务员者，以热心任事为主，没有自信力，万不可轻听局外之褒贬，以为进退。为议员为国民者，当体当局者之苦衷，力与维持，不宜以党派之意见，拘束而牵制之，使其无发展之余地”。
尽管袁世凯说得漂亮，仍然不能平抑同盟会领导人及南方各省人民的愤慨。沪督陈其美发电质问袁世凯：“唐总理固受逼而退矣，试问逼之者何心？”上海、南京、广州、南昌各城市的报纸群起谴责袁践踏法制，甚至公开揭露他有效法拿破仑推翻共和国的野心。袁世凯闻之心虚，却又强装镇定，并展开反击，一面回电陈其美反责他“是误听谣言”；一面指令御用报纸放出谣言，说唐绍仪“贪污华比借款，无法交待，避责潜逃”；攻击他私自“接济革命党军费”；甚至诬蔑孙中山在辞去临时大总统之际接受唐绍仪贿赂百万元等等。企图制造烟幕来转移视线。
此外，袁世凯还对陈裕时作过表白，“极为诚恳”地说：“外面人说我要做皇帝，这个皇帝是最要不得的东西，清朝不是就在你们手里推翻了的吗？我是在对全国国民宣誓忠诚下就职的，怎么能说我要做全国人民所推倒的玩意呢！你是对历史研究很深的人，当然知道有史以来做皇帝的都没有什么结果。即如你现在所驻地南京，就有六个朝代皇帝的惨史，他们的子孙甚至于临到末路有生生世世不愿生在帝王家的怨言。上溯秦汉，下迄唐宋元明，哪一朝是有良好的结果？清帝逊位后，虽受到优待，但是一旦国民不承认他，还有怎么存活下去呢？我若连这一点都看不清楚，还敢在这乱糟糟的时候，挺身而出，当此大任吗？请你将我的话告诉孙、黄二公及第八师各位，使他们信任我”。陈裕时当时信以为真，认为人们误会了袁，直到袁称帝后才连呼受骗。
就在袁世凯百般辩解、企图摆脱窘境的时候，西方列强又来帮忙了。他们的在华报纸，如《字林西报》、《京津泰晤士报》等都纷纷发表社论，攻击唐绍仪，为袁世凯撑腰打气。《京津泰晤士报》社论说：“唐受职一无善政，即昔日信仰之人，今亦知唐不宜任也。此次私自出京固有损于新政府，而重任旧职尤为全国之不幸。今中国讧患相仍，亟宜任用不畏强暴、不避艰辛之人，或可挽狂澜于既倒”。有了帝国主义支持，袁世凯于6月27日下令免去唐的总理职务，两天后任命陆征祥继任总理。
6月20日下午，同盟会代表张绍曾、李肇甫、熊成章、刘彦往谒袁世凯，告知同盟会国务员于昨晚议定全体辞职。
6月29日，经参议院通过，陆征祥出任国务总理。
自从唐绍仪辞职后，身为同盟会员的教育总长蔡元培、司法总长王宠惠、农林总长宋教仁、署工商总长王正廷（总长陈其美未到职)于6月21日、22日又联袂辞职。
袁世凯未准。
7月初，这四个人又齐至总统府向袁世凯当面辞职。
袁世凯答：“我代表四万万人民挽留总长”。
蔡元培答：“元培亦对于四万万人之代表而辞职”。
财政总长熊希龄于11日递上辞呈。
袁世凯见同盟会阁员坚辞，准其与熊一同辞职。
交通总长施肇基已于月底离阁。现在阁员仅剩下赵秉钧、段祺瑞、刘冠雄几个心腹和驯顺如羊的陆征祥了。
陆征祥(1871年-1949年)是一个职业外交官，外语说得好，长期驻在国外，先后担任过参赞、公使。他善于应酬交涉，又入过基督教和天主教。颇受洋人欢迎。辛亥革命时他正任驻俄国公使，由于受梁士诒的策动，他联合一些驻外使节，通电要求清帝退位。并以此“功”出任唐绍仪内阁的外交总长。陆征详因久居国外，与国内政治牵涉不多。既不属北洋系，也不属同盟会，自诩超然，实际上惟袁世凯之命是从。此时此刻由他来组阁，袁估计是会为各方接受的。果然，很快参议院即以压倒多数票通过了这一任命。
陆征祥上任后，就遇到了内阁改组的难题。自唐绍仪辞职后，内阁十名总长走了六名，只有四名袁党坐在那里未动。袁世凯转而收买了两个变节的同盟会会员孙毓筠和沈秉坤，让其分别担任教育总长和工商总长。另外推荐四名总长，他们是财政周自齐、司法章宗祥、交通胡惟德、农林王人文。这样又凑足了十名阁员。同盟会主张新的内阁应是政党内阁或超然内阁，再不能搞混合内阁，同意陆征祥组阁，但禁止会员加入内阁，宋教仁对袁收买同盟会员入阁的做法极为不满，气愤地说：“此举系一种逼奸政策”。
7月18日陆征祥走马上任，拿着袁世凯拟定的补充总长名单到参议院要求通过。参议院中的同盟会议员本来对这个补充名单就不满意，而陆征祥第一次与议员见面，发表施政演说时，连个提纲都没有，“言词猥琐，绝无政策”，把提出阁员名单比作“开菜单、作生日”，导致议员大哗。他没法再讲下去，便在众人的讪笑声中走下讲台，将新阁员名单交给了议长吴景濂，然后对大家一拱手走出院门，跳上马车扬长而去。
袁世凯见遭到如此惨败，满腔愤懑，可又说不出任何理由，只得在招待全体议员，进行疏通的同时，再次把夹袋中的法宝——北洋军拿出来，使出流氓吓人战术。
北京军警联合会通电痛骂参议院不顾国家危急；署名“军界公启”的某些家伙，“声讨吴景濂、谷钟秀、殷汝骊罪状，并牵及谷之死力为王芝祥君督直者，受得贿赂若干云云，且谓将与天下共诛亡”。
“能取得吴、谷二人头颅者，赏洋一万元”的传单撒遍于北京城；有名曰“健公十人团”者，“封送一百零三封信分配各议员，言若再不牺牲党见者，将以炸弹从事”。
袁世凯闻讯，知事不妙，急忙致函参议院，要求“暂缓投票，再行协商”。次日，参议院宣布袁函不是正式咨文无效。当天即投票表决，将其所提总长六人全部否决，打击了袁的威风。面对参议院施展这么大的权力，袁世凯有些吃惊，要想参议院通过自己的名单，还得软硬兼施。
六阁员案的被否决，陆征祥又称病不出，使国会和政府再度面临危机。同盟会议员们重新提出“政党内阁”的主张。有人主张由宋教仁出来组阁；有人主张让黎元洪做总理；大家各执一词，议论纷纷。
7月21日，袁世凯在中南海居仁堂里设茶会宴请了参议院各议员。面对到会的七十七名代表，袁世凯讲了目前的困难，希望大家和衷共济，不要计较陆征祥的失言，仍然支持他当总理，以免国家陷于不幸。他还同意由陆征祥重新提出新阁员的名单，请参议院审批，以作为参议院转圜的台阶。袁世凯极力想把气氛缓和下来。
23日，袁世凯给参议院送来一个新的总长名单：财政周学熙、司法许世英、教育范源濂、农林陈振先、交通朱启钤、工商蒋作滨，征求参议院同意。参议院接到名单后尚未开会，25日北京军警联合会又举行会议，会上有人叫嚷以武力解散参议院。当天下午，毅军总统姜桂题、拱卫军司令段芝贵、直隶提督马金叙和军政执法处总办陆建章等军警要人，以联络感情为名，招待参议员和新闻记者，旨在争取内阁名单能早日通过。陆建章代表军警两界发表演说，极力否认军警有干涉议院之意。他说：“近日外间有个传说，说是军人将干涉参议院，我们四位各有统帅军队，我们敢向各位保证，绝对没有其事，我们愿意请各位查一查，如果有足够的证据证明军人真有此动机，我们甘愿受国法制裁”。紧接着话锋一转：“不过军人等抱一种国家观念，以外患之迫，财政之危，劝告诸君舍内而对外，移缓以就急”。
说是“联谊会”，偏偏有人压不住火。北京《时报》总理陈绍唐发言越说越激动，最后竟破口大骂参议院，还威胁说：“明日再不通过，当宣布议员死刑”。一帮被收买的记者同声鼓噪，大嚷“亡国喽！亡国喽！”会场秩序大乱，联谊的目的没有达到。但第二天参议院开会，议员们通过了新的阁员名单，只是把蒋作滨换成了刘揆一。
用军警干涉立法机关，是袁的一大“创举”，也是其破坏《约法》的又一表现。两次干预成功，他感到只要以武力为后盾，善于搞阴谋，法制是可以破坏的。此后他的胆子也就越来越大了。不过，为了掩饰违法行为，在通过阁员名单的第二天，他重申：“军人不准干预政治，迭经下令禁止在案，凡我军人自应确遵明令，以肃军律。乃闻近日军界、警界仍有干涉政治之行为，殊属非是。除令陆军、内务两部传谕禁止外，特再申告诫，其各守法奉公，以完我军警高尚之人格”。补充阁员通过前，鼓动军警横加干涉；补充阁员通过后，再下达军警不准干政的命令，这便是总统的“高尚之人格”。
在军警的压力下，参议院虽然违心地通过了陆征祥内阁总长的补充名单，却咽不下这口气，接着提出弹劾陆征祥失职案。陆征祥自知无此才能，便托病辞职，甩手不干了。迄至8月20日，袁世凯任命赵秉钧代理总理。从7月29日陆到阁视事，到8月20日赵走马上任，陆内阁的寿命不过二十来天，折腾得惊天动地。
在袁看来，赵秉钧这个警察头子，符合西方列强所要求的那种“不畏强暴，不避艰辛的人”。为了减少参议院通过的阻力，经袁允许，赵填了一份加入同盟会的志愿书。为了博取同盟会领袖的好感，又让赵秉钧负责招待来京商谈国事的孙中山和黄兴。到了9月22日，袁世凯向参议院提出正式任命赵秉钧为总理，同时兼内务总长。由于事先已疏通，得以顺利通过。
10月3日，赵秉钧到参议院宣布政见，大意是说“以维持现状为主”。可是，不久他干脆挪到总统府办公、开会。形式上国务院仍有会议，实权却完全操于总统府，一切政务均按袁世凯的意旨行事。从此大总统大权独揽，“责任内阁”名存实亡。
搞垮责任内阁，只不过是袁世凯反对共和制度的一个尝试，要复辟帝制，仅仅做到这一点远远不够。
因此，在搞垮责任内阁的同时，他还加强了反革命集权与专政的工作。
袁世凯身为临时总统，进行集权与专政，有着十分便利的条件。当时，战争刚刚结束。全国人民迫切希望国家不再分裂，袁世凯利用人民群众的这一心理状态，事事强调统一，军令要统一，政令要统一，制度等等也要统一。
统一到哪里去？统一到他手中，说到底，一切听他的。否则，就给人加上“破坏统一”的罪名，置于死地。
袁世凯投身行伍，靠带兵起家，深知有军就有权，有权就有一切，因而最看重军权。
对于革命党的武装，袁世凯极端仇视，始终遵循着能消灭者则立即消灭之，不能立即消灭者则分化瓦解之、削弱之。最后仍旧消灭之的原则。