胡光墉知道自己树大招风，故常做些善事以笼络人心，博取名誉。他常于冬天在杭州施舍乞丐，每人给棉衣一件，钱二百文，“一时托钵之流，颂德不置”。左宗棠攻占杭州时，命他主持善后，他开始设粥厂，设难民局，继而设善堂、设义塾、设医局，修复名胜寺院。《庄谐选录》中称“凡养生送死，赈穷恤贫之政，无不备举”。胡光墉的胡庆余堂药房也经常送药周济穷人。左宗棠收复新疆过程中，许多将士生病，胡光塔主动捐药给前线将士，他的飞龙夺命丹疗效最好，左宗棠还写信要他多生产一些，转送西北。晚清名士李慈铭虽对胡光墉的品行多有微词，但也承认他“颇为上惠，置药肆，设善局，施棺衣，为姬弼，时出微利以饵杭（州）士大夫，士大夫尊之如父，有翰林而称门生者”。同治十二年（1873年）四月，左宗棠在请赏道员胡光墉母匾额折中说：“同治十年，逢伊母胡金氏之命，以直省水灾较广，捐制棉衣一万件。嗣复添置棉衣五千件，并捐牛具籽种银一万两，以津郡积潦未消籽种不齐，续捐足制钱一万串，以助泄水籽种之需。”光绪四年（1878年）三月左宗棠在为胡光墉请赏的折子中，再次列举了胡光墉捐资赈灾数目，共捐实银五万两解陕备赈。捐江苏沐阳县赈物制钱三万串。捐山东赈银两万两、白米五千石、制钱三千一百串。又捐新棉衣三万件。捐山西赈银一万五千两，并捐河南赈银一万五千两。捐赈各款合计银钱、米价、棉衣及水路运费，总计在二十万两以外。胡光墉因此博得慷慨好义的美名，李鸿章亦曾上折要求朝廷准许“赏给匾额一方”，“以为好善乐施者劝”胡光墉救贫赈灾，博得乐善好施的美誉，出手阔绰，挥金如土，人们把他当做活财神。但是，随着左宗棠在西北战事结束，胡光墉通过筹饷购械从中牟利的机会大不如前，他挥霍的钱财多来自于钱庄银号，内空已经很大，表面繁荣的背后，已隐藏了巨大的危机，他庞大金融帝国就像一座位于休眠火山之上的冰山，火山一旦爆发，庞大的冰山会在顷刻之间化为乌有，结果火山很快爆发了。
四
十九世纪后期，西方列强又开始了对中国新一轮的侵略。光绪九年（1883年），法国为了打开中国西南大门，挑起了中法战争。法国军舰在我国东南沿海游弋，一度驶抵吴淞口，扬言要进攻上海的江南制造总局，清廷大为紧张。上海更是人心惶惶，富有之家纷纷逃离，人们开始挤兑现银。由于当时上海银根奇紧，从而诱发了金融风潮，很多银号店铺接踵倒闭。以胡光墉的财力渡过危机似乎应该没有问题，但是几种因素集中在一起，终于一败而不可收。当时中国与外国贸易的主要商品是蚕丝，江浙及其附近地区是中国蚕丝主要的产地，胡光墉几乎垄断蚕丝贸易，他每年在各地尚未缫丝之前全部买下，外国人只能通过胡光墉买丝，否则一根丝也买不着，以垄断丝市牟取暴利。外商大为不满，他们便联合起来对付胡光墉，相约一年不买丝，结果胡光墉蚕丝积压太多不能出手，挤占了大笔资金。手头资金周转本已不灵上海道邵友濂又乘机倾轧，将本应交付的西征饷银强行扣下湖光墉更为窘迫，待上海挤兑之风一起，迅速蔓延至杭州。为了挽救阜康，杭州挤兑风刚开始时，浙江布政使德馨即从藩库中提取现银两万两，赶到阜康银号，凡是提款不足一千两的全部兑付，但此举并没起到多大作用，没能制止事态的发展。而且上海的储户也赶来杭州提款，一时无法兑付，管事的人就躲到宁波去了，挤兑风愈演愈烈，阜康再也无法支持下去了，遂于十一月中旬倒闭。胡光墉已知大势不可挽回，秘密派亲信到各店号，把各号的账控制起来。又开始遣散妻妾，许她们每人可以带走各房中细软两箱，此外概不准带，又给每人银两千，当夜即走，一任所之。接着便赴南京见左宗棠，告以实情并商量善后事宜，且说：即今早做打算，除能保住公家的款项外，私债（当然指的是王公大臣的存款）尚可按折扣还，再返则公私两负了。征得左宗棠许可，即日发电报给各省银号同时关闭，胡光墉一生的事业彻底崩溃。
胡光墉的银号钱庄曾是当时信誉最好的，所以，不管是王公大臣、豪绅富商，还是市井平民，有钱都存在胡氏银号中，特别是朝中权要、各省大员以私款托存的不计其数。破产后“京朝外省追债之书积可以丈尺计”，胡光墉事败的消息官场中最先得到，官场来索要存款的亦最早，有些是亲自来的，有些是派人来的，沸沸扬扬，集于一堂。先前管账的人知道此事难办，早就不知跑到何处躲起来了，大家摸不着头绪。正在吵嚷之时，忽听左宗棠到了，众人也不敢喧哗。左宗棠就按本所记亲自查询，这些官员这时都嗫慌不敢直对，有些本来存了十几万只敢认一两千，大概这些存款都是贪赃枉法所得，怕被追查存款的来源惹不必要的麻烦。左宗棠也将计就计，提笔为其涂改，不一刻数百万存款仅以三十余万了之。确有一些官员因追讨存款招来很大麻烦。协办大学士刑部尚书文煜在阜康银号存银七十多万两，暗托浙江布政使德馨代为追讨，给事中邓承修上书弹劾，要求文煜说明财产来历，朝廷令其详细回奏，文煜“以历任海关监督、福州将军等优缺廉俸所人为对”，并表示愿意拿出十万两贡献朝廷，才被免于追究。而前驻藏帮办大臣锡缜就没那么幸运了，他有一万多两银子存于阜康银号，大概是消息闭塞，他知道阜康倒闭的消息太晚了，眼看钱也要不回来了，便上奏朝廷，请将阜康银号存银报捐八旗官学用款，结果弄巧成拙，被皇帝斥之为“所奏殊属取巧，着将原折掷还”。给事中郑博元弹劾锡缜在户部时与姚觐元等表里为奸，家称巨富，请求派员查参。皇帝降旨“将锡缜交部严加议处”。不久下谕：“锡缜着照兵部议降四级调用，并折罚所兼世职半俸九年”。像锡缜这样弄巧成拙的毕竟少数，官场中有权有势者，暗中托要员为之料理，即使索不回银子，也搞到胡氏的房产店铺、珠宝、古玩等抵偿，不致有太大损失。但无权无势者就惨了，“各善堂、各行号、各官民之存款，则皆无可追索，相率饮恨吞声而已”。最倒霉的是个和尚，一年以前，他拿着五百元钱欲存入杭州的阜康银号，伙计因他是个和尚不好记名，拒而不纳。和尚在门外敲了三天三夜的木鱼，碰巧胡光墉路过，问明情况以后答应给他存入。银号倒闭时和尚来取款，自然得不到，他又在门外敲木鱼不止。店里的伙计笑着对他说：和尚你先前用三天三夜把钱敲出来，今天想用三天三夜把钱敲出去，不可能了。不得已以妇女衣裤折价相抵，和尚拿着这些东西流泪道：“僧携此他往，诚不知死所矣。”挥泪而去。类似情形不胜枚举。
胡光墉破产后，户部尚书阎敬铭即上折弹劾他亏损军需，要求将其革职查办，追索欠款。胡光墉提前得到朝廷要查抄的消息，便把所有姬妾全部遣散。胡光墉一早把诸妾召到大厅，并让她们都锁好自己的门，然后每人给五百两银子。让其赶紧离去。那些梳妆打扮好了的，珠翠首饰亦可值数千两银子，没来得及梳妆的，除五百两银子，只有身上的几袭罗绮而已。未几，谕令下：“现在阜康商号闭歇，亏欠公项及各处存款为数甚巨，该号商江西候补道胡光墉着先行革职，即着左宗棠提该员严行追究，勒令将亏欠各处公私等款，赶紧逐一清理。倘敢延不完缴，即行从重治罪。”并问胡光墉有典当二十余处，分设各省；买丝若干包，值银数百万两，存置浙省，着该省咨行该省督抚查明办理。次年夏，朝廷又令浙江地方官员“将胡光墉侵去西征借款行用、补水等十万六千七百八十四两，于该革员备抵产业内，迅速变价，照数措齐”，限期“解交甘肃粮台备用”。所谓“行用”指借款经手人所得回扣，“补水”指因归还借款之因成色不足而补贴的银两。在当时这属正常开支，并由左宗棠批报了，朝廷时过多年之后又追索这笔开销，实在过于苛刻。左宗棠及当时署理两江总督曾国荃都上书极力为胡光墉辩解，请求朝廷免于追究，但均被驳回。
胡光墉被革职抄没之后，昔日富贵，烟消云散，光绪十二年（1886年）秋，郁闷落魄的胡光墉怅然逝去。其母随即而亡，丧仪冷冷清清，不仅使人想起她的七十大寿是多么的隆重，“西湖云林寺自山门至方丈房，悬挂称寿之文，几无隙地”。官绅、亲朋前往祝寿者络绎不绝。繁华过后成一梦，时间仅隔不足一年，时人皆比之于《红楼梦》之史太君。
胡光墉的破产对当时的社会产生了巨大的影响。他所开办的银号、钱庄相继倒闭，全国的金融业无不受到波及，凡与阜康有业务往来者，自然在劫难逃，基本也都倒闭了，即使与阜康没有业务往来者，也大伤筋骨。在北京：“内城钱铺日四大恒者，京师货殖之总汇也，以阜康故亦被挤危甚”。“以今日闻四大恒号将闭，山西人所设汇局皆被挤危甚也”。在上海：随着阜康的倒闭，大部分钱庄、银号都倒闭了，没有倒闭者也元气大伤，当然，胡光墉的破产对江浙地区经济的打击最大，胡败后商务大为减色。有人认为，胡破产给江南经济带来的打击不亚于庚申之劫（指1860年太平军攻占苏南、浙江诸府县，围困杭州）。
胡光墉以一红顶商人的身份出现，其贪污钱财更加隐蔽。然其骤然崛起，又忽而破灭，也使其颇具传奇色彩，成为晚清官场一奇谈。