胡雪岩跟随左宗棠得以实现自己的帝国梦想，但是左宗棠太有个性，他在军机处主意太多，又往往言大而夸，口无遮拦，惹人生厌。朝廷念他艰难百战，立过大功，就外放他为两江总督。
对胡雪岩来讲，这自然是个喜讯，不由得又在心里激起了雄图壮志。首先，左宗棠一来，胡雪岩就可对怡和洋行下杀手了。
怡和洋行在华贸易发展得很快。本来胡雪岩做生意，是以怡和为对象的，但怡和认为通过胡雪岩来买丝，价格上太吃亏，不如自己派人下乡收购，出价比胡雪岩高，养蚕人家自然乐意卖出。而在怡和，仍旧比向胡雪岩买丝来得划算。
这一点胡雪岩倒不大在乎，因为他讲究公平交易，而且口头上常挂一句话：“有饭大家吃。”养蚕人家的新丝能卖得好价钱，于他有益无损。青黄不接，或者急景凋年辰光放出去的账能够借此顺利收回，倒是一件好事。
只是有三家缫丝厂正在筹备之中，一部机器抵得上三十个人，一旦开工，浙西农村中不知有多少丝户的生计，有断绝之虑。
因此丝业公所发起抵制，实际上是由胡雪岩发起抵制。丝业公所的管事，都唯他马首是瞻。
左宗棠赴任两江，胡雪岩打算说动他加蚕捐。要叫他们成本上涨，无利可图，那就一定关门大吉。
古应春觉得用这一招对付洋商，确实很厉害，但须防洋商策动总税务司赫德，经由李鸿章的关系，向总理衙门提出交涉。
果然，胡老太太生日那天，赫德亲自上门来了。怡和洋行提出的条件很好，所谓“市价以外，另送佣金”，便是两笔收入。坐享厚利，在他人求之不得，而胡雪岩却决意放弃。
赫德的情面不能不顾，至少要想个虽拒而不伤赫德面子，让他能向怡和洋行交代的说法。办法总会有的，只要不起风潮，不坏市面，还要养蚕人家有生路。
赫德是有名的老奸巨猾，情知要避免这三点的妥当办法，花十年工夫也未见得能筹划出来。不过，胡雪岩的苦心，他还是体谅到了。
左宗棠主陆防，李鸿章主海防，这是已经争论了十几年的老话题。先是西北告急，陆防论占了上风。及至曾纪泽使俄，解决了中俄纠纷，陆防论不再有人提起。李鸿章旧事重提，海防的计划朝廷完全同意。哪知正干得如火如荼之时，李太夫人病殁汉口，李鸿章无奈回籍，朝廷命左宗棠代为监管。
左宗棠自感得意，海防，北洋可管，南洋又何尝不可管，而且经费大部分出在两江，来管南洋，更觉名正言顺。所以左宗棠一到上海，便要胡雪岩陪同，去看江南制造局。
左宗棠的巡视，实是一个乱子。本来江南制造局是李鸿章的禁脔，左宗棠却硬要交代胡雪岩去代理购买军火，分发江南各防营使用。这便有“抢生意”的意味在内，实际上已等于短兵相接。胡雪岩连说“怕不见得好”，把这生意让给了制造局的买办。
洋商却非要认老主顾，把价目表事先开给了胡雪岩，并为他保留了一个折扣。这一来制造局便有了上当受骗的感觉，去和上海道邵友濂商量。邵友濂答应找个机会，好好打胡雪岩一个闷棍，叫他爬不起来。
4. 胡雪岩的生意出了漏洞
白银帝国出现危机，也有胡雪岩自身的原因。先是典当行生意，分布在各地的共有二十六家。当铺的资本总算有四百五十万银子，按一分息算，一年就是五十四万。
经人提醒，胡雪岩发现了毛病。在他记忆中，每年年底结总账，典当部分的盈余，从没有超过二十万。照此说来，每年有三十多万银子被吞掉了。
古应春给他出了个主意，整顿典当行。不必一家一家来查，只需把二十三家的“总管”、“管包”，通通调动。调动要办移交，接手的有责任，自然不敢马虎，这一来账目、架货的虚实，也就盘查清楚了。
口风一漏出去，杭州典当行的总管心里便七上八下。原来此人舞弊已历多年。思前想后，唯一的挽救之道，便是打消这个计划。万不得已，串通了自己的姨太太，使出美人计。胡雪岩既已中计，只好让大家不动了。
另一件是上海的钱庄档手宓本常，和古应春较起了劲儿。
上海的银根，紧到极点。市面上只有一百万现银，全靠同业互相协助，在汇划上耍把戏。情势到了这种地步，非得赶快另寻进账不可。为了维持阜康的信用，只好抛售茧子，这是胡雪岩十分不情愿的。还有一个办法，由古应春出面，购买缫丝厂，把手头三百多万两的丝茧变成现银。
收买缫丝厂的生意谈成了，宓本常却不肯划款。宓本常放了风声出去，说胡雪岩并无意办新式缫丝厂，是古应春在做房地产的生意上扯了个大窟窿，所以买空卖空，企图无中生有，来弥补他的亏空。如果有缫丝厂想出让，最好另找主顾，否则到头来一场空，白误时机。
对于古应春，宓本常自有一番说辞。虽说胡雪岩指明给古应春购厂留一笔款子，钱是阜康的，受人之禄，忠人之事，银根这么紧，如果把这笔钱死死守住，不拿来活用，着实没有道理。
宓本常敌视古应春，是因为自己做了亏心事，怕古应春知道了会告诉胡雪岩，所以不愿他与阜康过于接近。
原来，宓本常看胡雪岩一片“鲜花似锦”的事业，激起了自己一番雄心壮志，打定主意，利用阜康的地位，调度他人的资本，去做自己的生意。
生意是和自己的表弟合伙做的。由宓本常拨付五万银子，在海上运送货物，南货销北，北货销南，一趟船做两笔生意，宓本常得两份，表弟得一份。
邵友濂的闷棍早想出手。江海关的税收归邵友濂管，前次各省关票解沪，邵友濂就已经有手脚。只是时机不凑巧，胡雪岩得了左宗棠的支持，写出了一封措辞严厉的信，又逢李鸿章抵沪，胡雪岩借了商谈鸦片捐税的机会，请求李鸿章出面催收。李鸿章一诺无辞，税款才顺利移交。
等到法国进攻越南，朝中议论，分为主战、主和两派。左宗棠主战，邀胡雪岩去总督府面谈，由转运局想办法，购买四千支洋枪，另外加拨二十五万款子，作为开拨费用。
到了上海，胡雪岩才发现，不巧的事情凑到一起了。
第一是市面不景气，银根极紧。第二是屯丝屯茧这件事，明知早成困局，力求摆脱，但阴差阳错，他收买新式缫丝厂，为存货找出路的计划，始终未能成功。目前天津、上海都有存丝，虽削价求售，亦无买主。第三是左宗棠先为协赈借了二十万两银子，如今又要拨付二十五万两，虽说是转运局的官款，但总是少了一笔可调度的头寸。第四是胡雪岩女儿嫁期在即，依胡雪岩的脾性，面子上的事总要摆得越大越好。场面大，开销多，至少还要预备二十万两银子。最后就是宓本常私下借客户的名义，提取存款去做南北货生意，照古应春的估计，大概是十万两银子。
急也没用，如今只有按部就班，一面催上海道，一面自己来想法子调头寸。
李鸿章这一面，早已打定了议和的主意，只是慑于清流的力量，不敢公然表示。
李鸿章门下却已经心领神会了，想要议和有结果，须先救火。谁是“纵火”者呢？第一个就是左宗棠，第二个是彭至麟。擒贼先擒王，只要将左宗棠压制住，李鸿章就能掌握整个局势，与法国交涉化干戈为玉帛。
结论是要使得左宗棠“纵火”不成，非除去胡雪岩不可。
不久，市面忽然谣言大盛，说胡雪岩摇摇欲坠。一说他跟洋人在丝茧上斗法，已经落了下风，又一说便是应付的洋债，到期无法清偿。
到胡雪岩启程回杭时，上海阜康开始挤兑。不到一天，只好关门大吉。
杭州这边，情势尚好。一则没有李鸿章那一面人的煽动，二则藩司德馨和胡雪岩亲若兄弟，亲自到阜康维持秩序，所以等胡雪岩上岸，照旧摆出排场，以稳定“军心”。
德馨深夜造访，和胡雪岩、古应春一起斟酌发往军机处密友的电报，托他在都老爷面前烧烧香。快过年了，节敬从丰从速，请他们在家纳福，不必多管闲事，只要大家对胡雪岩体谅情非得已，相信负责到底，办事情就有了转缓余地。
算一算总账，人欠欠人，通扯来算，连官款在内，还完欠款后，还多下三百五十万两银子。
但这只是一把如意算盘。积款最多的是在丝茧上，照市价是九百万两银子。但自上海阜康的风潮一起，丝茧上免不了也要受人挤兑。九百万两银子的货色，说不定只能打个倒八折，只值一百八十万，洋商等的就是这一天。
5. 关键时刻，朝廷落井下石
胡雪岩的帝国大厦岌岌可危，假定有朝廷出面维持，只要便宜不落外方，也都认了。只是风潮之起本属有因，要想朝廷在此时加以援手，绝无可能。
事情很快通天。据奏，阜康银号关闭，查刑部尚书文煜在该号存银七十多万两，朝廷要求“查明确数，究所从来”。恐怕很快就有严旨。
文煜的回奏很坦白，说他这二十多年来，曾获多次税差，廉俸所积，加上平日节俭，在阜康存银三十六万两，其余为亲朋托文煜经手代存。
上谕认为他“所称尚属实情”，不过“为数稍多”，责成他捐出十万两，以充公用。
上谕又责成左宗棠严行追究，勒令将亏欠多处公私等款，赶紧逐一清理。胡雪岩首先被革职。又命左宗棠去公文给各省督抚，把胡雪岩在各地的典当行，并茧丝若干包值银数百万两，一一查明办理。
时人这样描述胡雪岩倒闭带来的冲击：“前日之晡，忽天津电报言其南中有亏折，都人闻之，竟往取所寄者，一时无以应，夜半遂溃，劫攘一空。……今日闻内城钱铺曰四大恒者，京师货殖之总会也，以阜康故，亦被挤危甚。”“使诸肆尽闭，京师无富商大贾，内外货币不通，劫压将起，司农仰屋之筹益无可为矣。”