袁世凯就任临时大总统后，任命唐绍仪为总理，由其组阁。唐绍仪所面对的问题还更多、也更难，除了复杂的人事外，最困难的就是新政府竟然无钱可用——自1840年以来，清政府连战连败，内忧外患，原本充盈的国库早已亏空，清政府还背负了大笔外债和赔款，新政府成立后，中央无法从地方获得税收，地方根本也不向中央解送税款，而中央政府的财政收入又没有多少其他途径，因此，从南京临时政府开始到唐绍仪的内阁，基本上是一穷二白，根本无米下锅。
袁世凯之所以与南方革命党人谈判，一个重要的原因也是因为没钱发动战争，他尽管握有重兵，但没钱是打不起来的，也是打不起的，因此，他才寻求谈判。现在，他做了临时大总统，但财政问题仍然困扰着他。唐绍仪在参政院发表演讲说，国家财政异常困难，不得不举借外债，他计算了一下，需要二亿一千五百万两的款项才能满足年度各项支出。袁世凯为此向朱尔典抱怨说全国大部分地区现在根本收不到税款。朱尔典也清楚这种情况，也表示很同情，“看来理解这个局势的唯一政治家就是袁世凯总统”。
当朱尔典将袁世凯的困难通报给英国政府后，格雷回电：“除非现在给予袁政府临时的金融援助，否则，在袁的国库已枯竭的情况下要想在目前的停战以后，与革命军达成一个解决问题的协议，可能性甚小”，同时指示朱尔典，让其从中斡旋，建议四国银行团向袁世凯提供一笔贷款。
当时，解决财政问题的途径也无非是从内、从外两个，但国内一片混乱，财政渠道堰塞，税收难以保证，民间贫瘠，工商低落，因此依靠国内难以为继，那么也就只能指望西方国家了。西方国家当然也很清楚新政府的困境，因此当袁世凯与南方革命党人达成协议、组建联合政府后，在朱尔典的劝说下，英国汇丰银行、法国法兰西银行、德国德华银行、美国银行联合组成了四国银行团，主动告知袁世凯，愿意提供贷款。朱尔典说：“总统正确地把财政问题摆在他的计划的最前面，并坦率地承认，必须求助于外国资金，以满足行政方面的需要。暂时发行公债和最后商谈一笔大借款，被认为是处理局势的唯一可行的办法”。袁世凯于是要求四国紧急支付40万英镑，次日就交付。此后，就命唐绍仪与四国商谈善后大借款。但南方革命党获知此消息后立即向英国等国施压，他们威胁说，如果四国银行团向袁世凯贷款，那么革命党人就将在南方地区广泛发动抵制外国商业的运动。由于英国、法国等在南方地区存在巨大的商业利益，因此对革命党人的这一威胁也感到担忧，英国政府也不希望因此造成重大损失。格雷和朱尔典之间为此电报频传，最后他们只好选择一个较为折中的办法，即贷款给袁世凯，但首先要“通知汉口与上海的革命党，说明借款的目的系促进和谈，并取得他们的同意”。这等于说给了革命党人以否决权，袁世凯必须首先要取得革命党人的同意才能获得贷款。
正是由于四国银行团条件甚为苛刻，无奈，唐绍仪只好暗中与比利时银行取得了联系，筹借了100万英镑，这才解决了燃眉之急，也正是有了这笔钱他才能去南京组阁。
但唐绍仪的做法又惹怒了四国银行团，当他从南京返回北京后就收到了四国发来的抗议照会。袁世凯指示唐绍仪，请美国公使出面斡旋，然后退掉比利时借款，改从四国银行团借款。当四国银行团来与唐绍仪商谈借款之时，唐绍仪一开口就要求借款7500万两白银，这让四国银行团吃了一惊，他们没想到中国政府竟然需要这么多的银子，便询问借款用途，唐绍仪回答说是用于遣散军队，银行团再次再次追问，遣散军队到底需要多少钱款？唐绍仪事先并没有详细考虑此事，就随口回答说大概需要3000万两，银行团见唐绍仪如此敷衍，于是露出不信任的目光，说，必须要派人监督借款的用途，否则不能提供贷款。
正在唐绍仪与四国银行团的谈判陷入僵局的时候，熊希龄前来北京就任财政部长，于是唐绍仪就立即将此难题推给熊希龄。
熊希龄就是在奉天省因善于理财而声名鹊起的，因此是财政方面的行家里手，他上任后很快就梳理出头绪，并且做了一份详尽的借款报告，将借款数额、用途、监督手段等详加说明，这博得了四国银行团的信任，因而答应首先提供300万两。熊希龄很高兴地将这一消息通报给南京，但没想到，南京回电道：“垫款章程不但要监督中国财政，还要监督我国军队，是可忍、孰不可忍？军队乃是国防之命脉，岂能容许外国人干涉到这种地步？熊财长难道忘记保路运动是怎么发生的吗？难道不知道埃及借债亡国的教训了吗？这二十年来，无数中华志士赴汤蹈火，不惜一死，方换得民国的今天，难道为了区区三百万的垫款就要将民国葬送？我们这些人只要还有一口气在，就绝不会承认这亡国的借款条件，请熊财长务必取缔借款”。电报落款是黄兴和南京的许多革命党将领，熊希龄看了这份电报颇为恼怒，随后就将这份电报公之于众，并给黄兴发去电报，大骂黄兴不懂政治，不懂经济，是个匹夫莽汉。
这场黄兴与熊希龄之间的电报战在全国引起了轩然大波，各地政要也纷纷一抒己见。唐绍仪也被叫到参议院说明情况，结果在会上被参议员们弄得灰头土脸，当晚就向袁世凯提出辞呈。而熊希龄也因好不容易坦诚的300万元垫款就此成了泡影，一怒之下也不再去财政部上班。
此后不久，又发生了直隶总督人选问题，这最终导致唐绍仪辞去了总理职务，赵秉钧组阁。之后，在朱尔典的尽力斡旋下，4月26日晚，赵秉钧、财政总长周学熙、外交总长陆征祥就在北京汇丰银行大楼内与英、法、德、日、俄、美五国银行团代表举行了最后的谈判。直到28日凌晨，这场艰苦的谈判才告结束，最后达成了善后大借款协议。五国银行团答应贷款给民国政府2500万英镑，年息为5厘，期限是47年；债券按9折出售，佣金为6%，因而实际贷款数额为2100万英镑。且由于此前已经有过垫付，贷款中一部分也是要清偿以前各省裁撤军队的费用，因此最终实际贷款额为1000万英镑。
由于这笔贷款最后偿还本息的数额高达6789万英镑，数额实在巨大，因此当善后大借看一公布立即引起轩然大波，国会参议院议长张继和副议长王正廷立即通电全国，称善后大借款未经国会批准，这是蔑视国会的存在。国民党政要们也纷纷发电，指责袁世凯违法借款，藐视国会。
袁世凯对国民党的指责也颇为恼怒，这笔贷款确实数额高，利息高，但民国政府早已入不敷出，急需要钱款运转，没钱什么事都办不成，而借到了钱又被国民党破口大骂，袁世凯于是说道：“我现在算是看透了。孙文这些人左也是捣乱，右也是捣乱，除了捣乱，他们就没有别的本领了。你听听，孙文说什么‘公今日舍辞职外，决无他策’，还说什么‘必以前次反对君主之决心，反对公之一人，义无反顾’，他妈的，孙文还想下定决心跟老子干呢！你们可以告诉国民党人，我袁世凯就不能听人捣乱，他孙文若敢动枪动炮，或另行组织政府，我就发兵征伐，而绝无姑息养奸之余地！”
朱尔典一面在帮助袁世凯借款，一面又趁机提出了西藏问题，目的很显然，就是趁袁世凯政权新建困难重重的时候为英国谋取西藏。1912年8月17日，朱尔典代表英国向袁世凯提出了关于西藏问题的四点要求，即，一，不许中国干涉“西藏的内政”；二，不能容许中国在拉萨或西藏保持无限制的军队；三，要求根据以上各点订立协议，作为承认中华民国的条件；四，在订立协议前将对中国人封闭一切经往西藏的交通。实际上，这就是英国在趁人之危，在民国政府急需要外国的承认与支持的时候进行要挟、敲诈，等于提出了承认新政权的价码。袁世凯明白，朱尔典虽然是他的亲密朋友，但他更是大英帝国的公使，英国图谋西藏已经很久了。这个要价的确让袁世凯左右为难，他当然需要英国和其他西方国家的承认，但公然出卖西藏对他的新政权来说也是釜底抽薪，国人会因此从支持他立刻改变为反对他。为此，袁世凯告知，他只能下令正在进军西藏的川军、滇军停止前进。袁世凯也派出了代表参加在印度举行的“中英藏三方”谈判，但袁世凯始终坚持中国对西藏享有绝对主权。