鸦片战争前夕，是徽商盛极而衰的开始。
作为徽商中坚产业的两淮盐业，既成就了徽商，也埋下了徽商衰败的伏笔。徽商垄断经营的背后，是官府无休止的变相勒索。“官商”、“皇商”之类的浮名，意味着商人必须为官府和皇朝，承担更为苛重的责任。
嘉庆即位之初，五个省份先后爆发了白莲教起义，清政府历时九年，才把这场起义镇压下去。在此过程中，以徽商为主导的两淮盐商，先后六次为之捐输军费，总额突破了纹银七百万两。即使如此，各地的官吏无论品级高低，都认定“商户像芝麻，越榨越出油”，逢年过节向当地所辖的商户索取“冰敬”、“炭敬”，是不成文的“潜规则”。
官府频繁的勒捐乃至明目张胆的勒索，极大地挖空了两淮盐商的利润。商人终究是没有社会地位的，即使一个类似《水浒传》里董超、薛霸之流的官差，对绝大多数商人而言，都不啻为足以掌控自己命运的“瘟神爷”。一些商家动辄举办宴会和庆典，邀请当地官府中人“赏光”，一顿酒席耗资纹银数百两甚至上千两——“打肿脸充胖子”的“排场”背后，是很多无法对外人启齿的难言之隐。
道光年间，日后以“见义勇为，胸无城府”彪炳史册的一代名臣陶澍，作出了一系列利国利民的盐法改制，然而，这对两淮盐商而言，却是致命的一击。
时任两江总督的陶澍，首先在淮北推行“票盐法”，此后不久，该法令推广到淮南。“票盐法”完全废除了明初的“盐引”制度，任何商人都可以自行向负责盐政的官府机构领取票据，“不论资本多寡，皆可量力运行，来去自便”。陶澍的“废引改票”，从制度上打破了徽商的垄断，引来了全国各地盐商的自由竞争。平心而论，这一政策是顺应民心的大势所趋，但却造成徽商在两淮盐业的衰落。
盐政改制砸了很多徽商的金饭碗，大家对陶澍恨之入骨，却又无可奈何。为此，一些徽州人在传统的纸牌游戏“叶子牌”里加了两张牌：一张牌上画了棵歪脖儿桃树，作为晦气的象征，谁抓到这张牌谁是输家；另一张牌上画了个“桃小姐——桃树的闺女”，抓到这张牌的就是赢家。凡是拈到这两张牌的，无论输赢，都难免污言秽语倾盆而下，对“桃树”全家骂不绝口。
1851年初，近代史上备受争议的太平天国起义爆发了。两年后，太平军攻克了徽商云集的汉口、武昌和汉阳等地，并占领了六朝古都南京，定为天平天国国都。此后太平军与曾国藩的湘军展开了长达十几年的拉锯战，湘、鄂、赣、皖、苏、浙等长江中下游地区，遭受到千余年来空前的战祸。
至此，不仅仅盐业，包括木材、茶叶、粮食等诸多行业在内的吴楚贸易，全部陷于瘫痪。洪秀全在“天父”的指引下，厉行极权政策，其中包括中国有史以来第一道禁商法令：“天下农民米谷、商贾资本，皆天父所有，全应解归圣库。”伴随着这道法令的是，南京与苏杭等地多家商铺横遭洗劫，而这些商铺半数以上都是徽商所开。在历史的波涛与乱流中，昔日曾为大江沿岸商贾中坚的徽州人，全无回天之力。
昔日的“世外桃源”徽州，至此也不再安宁。曾国藩的湘军主力，一度驻扎在徽州六县之一的祁门，随后又一度被太平军攻占。位于祁门敦仁里的洪家大屋，墙壁上至今依然保留着太平军的题字。
无论官军还是“义军”，本身都不事生产，但都离不开大量的粮饷消耗，为得到赖以生存的食量，唯有残酷地搜刮当地百姓。连年的刀兵之灾，对徽州的破坏是难以估量的，徽州死亡人口达到了60%～70%，大多数家族数百年来积累的家产，被洗劫一空。
“红顶商人”胡雪岩的兴起，是徽商最后的一抹亮色。1885年左宗棠病逝，胡雪岩立刻丧失了政治靠山，一代巨商就此惨淡退出。
晚清时期，外商资本渗透到中国东南部各省，一系列丧权辱国的通商条约，造成徽商在另一个“支柱产业”——茶业上的整体没落。
当时清政府的海关，由英国人赫德操纵，洋商运茶来华所缴纳的“子口半税”，远远低于华人茶商所需交纳的各项税金。此外，洋商极力排挤华商，自行前往产茶之地进货，从而在长江沿岸地区，几乎垄断了茶业的供销渠道。很多洋商横行不法，清政府只能按照“领事裁判权”，乞求列强领事从中斡旋，官府乃至朝廷，都无权自行处理。
国难当头，民不聊生。与此同时，徽商的其他行业也大都相继衰落，如木材、粮食、丝织、百货、典当等行业，徽商渐渐失去了昔日在经济生活中的地位和作用。到光绪年间，徽商陷入了“十商九困”的艰难处境，数百年来“独步天下”的徽州商帮，已经无可挽回地步入衰微。
民国时期，也涌现出不少徽籍的商人，他们大都已成为民族资产阶级的一员。
歙县商人江锡山，在上海创办制袜厂，到民国十七年（1928年），该厂拥有雇员约3000人。其“羊头牌”袜子，在上海滩颇为流行。一些来自绩溪的商户，在上海从事餐饮业，收入颇丰，其中包括“金老乌龟”等名扬一时的餐饮业招牌。直到1947年，杭州徽商木业公所召开第二次社员大会，参会的木商突破了380人，大多数都是来自歙县、休宁和婺源的木商及其代理人。
然而，较之明清时期，昔日徽商的兴盛，已成为明日黄花。
斗转星移，数十年弹指一挥而逝。在步入改革开放之初，安徽小岗村的包产到户，开启了一个新时期的先声。
如今，包括王致和、胡玉美等许多老一辈徽商创下的百年基业，已改组成为股份制的现代企业。传承历史，是为了更好地开拓未来，以史玉柱、张近东等为代表的新一代“徽商”，正以一种全新的面貌再度崛起……
徽商，已成为一个不朽的时代印记。