乱摸鸳鸯牌
自从高阳写了《红顶商人》之后，胡雪岩的名字被很多人所熟悉。然而关于胡雪岩，还有一些与高阳小说不很一样的轶事传闻。
胡雪岩有很多的姬妾，分别住在很长的一个类似巷子的院落里。人太多，胡雪岩也不大记得她们的名字。每天晚上有人托着一个银盘来见胡雪岩，银盘里盛着象牙小牌，小牌上刻有那些姬妾的名字。胡雪岩随手摸一张，摸中的就传进来陪寝。
好色胡雪岩好色，常常穿着便装（他有一品顶戴，布政司头衔）在街市上漫步，看见哪个女人漂亮，即命令门客去访问调查她的姓名住址，然后去与她的家人接洽、游说。除了身价不怕昂贵之外，还承诺为那女人的父亲或者兄弟买一处不错的房子。很多人都没经得起这个诱惑。
豪奢
胡雪岩的住处异常豪华，厅堂陈设极其奢侈，四壁摆满了秦汉时代的古董，每件价值千金，以碗砂捣碎了涂在墙上，摸上去凹凸不平，一品文官官服上的绣仙鹤据说能千年不朽。花园里有“仙人洞”，修在地下，里面设有桌椅床榻，胡雪岩六七月的时候穿着厚衣服躺在里面，丝毫感觉不到外面的炎热。
每到花晨月夜，胡雪岩就叫他的众多姬妾穿上各色衣裳，坐在一起，左顾右盼，以为乐事。或者命令众姬妾分别穿上红蓝两色衣服，上面写上“车”、“马”、“炮”的字样，作为棋子；地上画着棋盘，每人站好位置。胡雪岩与夫人登上高台，用竹竿指挥着下棋。
嫖妓
胡雪岩某天去一妓院，因为故意穿的比较寒酸，那妓女对他非常冷淡，不怎么理睬。妓院里有个老太太倒是很热情，对胡雪岩比较客气，问长问短的。胡雪岩坐了一会儿就走了。第二天派人给那妓院的老太太送去两个蒲包，打开之后，里面竟是闪闪发光的金叶子。
那妓女追悔莫及，忙命老太太到胡雪岩处相请。胡雪岩一句话也懒得说，微笑而已。
小老婆
胡雪岩某天路过一家成衣店，有个姑娘在门口，身材非常苗条，胡雪岩看呆了。那姑娘察觉后，连忙进屋关上了门。胡雪岩感到受到侮辱，非常愤怒。回去后就派人去找那姑娘的父亲，要娶那姑娘做小老婆。父亲一开始不同意，后来胡雪岩出的聘礼增加到七千块，父亲经不住诱惑就同意了。
成亲那天，胡雪岩大宴宾客。喜宴后把新人扶入洞房，命令那姑娘脱光了躺在床上，旁边有仆人举着巨烛给照亮，胡雪岩看着那姑娘说，当初你不让我看你，现在怎么样？说完之后掉头就走了。
第二天派人告诉那姑娘：房间里的陈设都可以拿走，改嫁他人也随你的便，但这里没你的位置！散伙胡雪岩的生意出现危机，就逐渐遣散一些姬妾。最先走的，是一些平常不怎么宠爱的人，教她们的父兄把人领走，她们住所里的东西也可以带走。这些人带走东西的价值，往往不亚于一般中等人家的家产。
后来形势愈发不妙，胡雪岩就只留下最心爱的几个人，其他的都走了。而这些人走的时候，已经没有什么东西可以带走了，不过头上仍旧戴满了珠翠，身上依然是华丽的绮罗衣服，也值不少钱。到了最后，胡雪岩的家人和最后几个姬妾，都接近一无所有了。
资料来源：《一士类稿件》、《南亭笔记》、《清朝野史大观》胡光墉（1823-1885），幼名顺官，字雪岩，湖里村人。墉幼时家贫，帮人放牛为生，稍长，由人荐往杭州于姓钱肆当学徒，得肆主赏识，擢为跑街。肆主临终前将钱庄遗赠雪岩，雪岩乃自开阜康钱庄，并与官场中人往来，成为杭城一大商绅。太平军攻杭州，雪岩从上海、宁波购运军火、粮米接济清军。左宗棠任浙江巡抚，委雪岩为总管，主持全省钱粮、军饷，因此阜康钱庄获利颇丰。至同治十一年（1872）阜康钱庄支店达20多处，资金2000万余两，田地万亩。同治十三年，筹设胡庆馀堂雪记国药号，光绪二年（1876）于杭州涌金门外购地10余亩建成胶厂。胡庆馀堂雪记药号，以一个熟药局为基础，重金聘请浙江名医，收集古方，总结经验，选配出丸散膏丹及胶露油酒的验方400余个，精制成药，便于携带和服用。其时，战争频仍，疫疠流行，“胡氏辟瘟丹”、“诸葛行军散”、“八宝红灵丹”等药品备受欢迎。此后，胡雪岩亲书“戒欺”字匾，教诫职工“药业关系性命，尤为万不可欺”，“采办务真，修制务精”。其所用药材，直接向产地选购，并自设养鹿园。光绪八年（1882），雪岩在上海开办蚕丝厂，耗银2000万两，高价尽收国内新丝数百万担，企图垄断丝业贸易，惹怒外商，联合拒购华丝。又因海关海运操于外人之手，不能直接外运。次年夏，被迫贱卖，亏耗1000万两，家资去半，周转不灵，风声四播。各地官僚竞提存款，群起敲诈勒索。十一月，各地商号倒闭，家产变卖，胡庆馀堂易主，宣告破产。接着，清廷下令革职查抄，严追治罪。雪岩遣散姬妾仆从，于光绪十一年十一月郁郁而终。