胡雪岩依附于左宗棠发家之后，生活越发奢侈，某些行为几近疯狂。然而在此背后，则渗透着刻骨铭心的自卑与惶恐。
胡雪岩的豪宅号称“芝园”，修建在杭州元宝街（河坊街），占地面积超过了1300平方米，里面布满了雕梁画栋、奇山异石，其中有一座假山，是我国现存最大的人工溶洞。此外，修建房间的用料，大都是紫檀、楠木等上等木材。为了修建这所宅邸，胡雪岩花费了十万两白银。
芝园的设计者，都是胡雪岩不惜重金从京城请来的名家，并请风水先生进行指点，以求福泽后世。芝园不但突出了江南园林的秀丽旖旎，而且颇具皇家宫廷的“王者风范”。其主楼号称“百狮楼”，二楼的栏杆上，用楠木雕刻着上百头虎虎生威的雄狮。
芝园里挂满了“贵人”的匾额，其中最显眼的，是同治皇帝的御书“勉善成荣”。同治皇帝终其一生都没有实权，他的御书，自然是奉了慈禧太后的懿旨。
此后的胡庆余堂，甚至使用了皇家翻修圆明园的木料，其奢华的程度，较芝园犹有过之。关于胡庆余堂的建立，有一个著名的传说。据说，胡雪岩的一个姨太太病了，四处求医问药，有些人传来风言风语，说：“既然胡雪岩这么能耐，为什么不能自己把姨太太的病治好呢？”胡雪岩听闻此事，带着“斗气”的心态，创办了胡庆余堂，并且不惜血本，一定要让胡庆余堂名扬天下。
胡雪岩不但在修建豪宅和商号时挥霍无度，而且私生活足以用“乌烟瘴气”来形容。他先后娶了12位姨太太，加上原配总共13个老婆。
古往今来，凡是“包二奶”之辈，家庭危机几乎无可避免，胡雪岩自然也“在劫难逃”，何况他的“二奶”已经突破了两位数。
起先，胡雪岩把这些姨太太，分别包养在不同的地方。而且，他的姨太太多为“女强人”，可以帮助胡雪岩打理一方的商务。例如，胡雪岩在做药材生意的时候，就会“偏巧”地娶到一位年轻貌美，而且精通药材生意的姨太太，作为他在某个市场区域的全权负责人。这些姨太太，基本都是胡雪岩在各个市场区域的“执行董事”。
后来，胡雪岩的母亲金氏偶然获悉此事，觉得让这些女孩子各自分居一方良心有愧，于是自作主张，派人把这些姨太太全都接到了芝园。当时，胡雪岩正在上海办事，对老母金氏的举动全然不知。等到胡雪岩办完事回到家中，瞠目结舌地发现，她的原配夫人和这些姨太太，早已整日明争暗斗乱成一团，家中再无宁日。
这些姨太太，想必当初都听惯了胡雪岩“我只爱你一个人”之类的甜言蜜语，此刻一旦面对真相，其心情可想而知。而暗中最为伤心的，则是胡雪岩的原配夫人程氏。事已至此，胡雪岩虽然极度郁闷，却也不敢对老母的主张提出反对，只好再斥巨资，在豪宅内修筑了一座“十三楼”，安顿他的十三位夫人。但从此之后，有些精通商务的姨太太，再也不肯为胡雪岩出一个好主意，相反，彼此之间颇多龃龉，甚至公开吵闹。她们已经看透，自己不过是“胡老板”算盘里的一颗小珠子，任由他随意拨弄。
日后胡雪岩家境衰败，一些姨太太在分得胡雪岩财产之后，便毫无挂念地离去，还有一些已经消磨掉了自力更生的骨气，全然彷徨无计。只有一位姨太太——有人说是罗四太太，也有人说是九姨太——在安顿好胡雪岩后事的第二天，上吊殉死。一段令人唏嘘的情缘，来也荒唐，去也荒唐。
胡雪岩在官府面前不得不卑躬屈膝、诚惶诚恐，但他往往以某些接近变态的行为，来求得心理平衡。例如，他时常与原配夫人程氏坐在观戏台上，在地面上画一个巨大的棋盘，让姨太太和众多仆人身穿绣着“车”、“马”、“炮”等字样的背心，胡雪岩与大太太对弈，这些“棋子”则根据指令，跑到棋盘的相应位置。他似乎想要以此表明，自己可以把一个个活生生的人，像棋子一样肆意驱使；然而，他可曾想到，在朝廷的棋盘上，他自己也不过是个微不足道的小卒？
一些史学家认为，胡雪岩奢侈、荒唐的私生活，未尝没有“演戏”的成分，以此做给朝廷大员们看，表明他只是个庸俗的商人，毫无政治野心，纵然得到了朝廷的种种封赏，也不会对任何人的仕途形成威胁。
而且，胡雪岩虽然风流成性，但为了结交官府，多次忍痛割爱，将自己的宠姬当做礼物送给很多高官。左宗棠一生光明磊落，自然不会和胡雪岩搞“权色交易”，但是，像左宗棠这样的君子，晚清官场中能有几人？
早在胡雪岩当上阜康钱庄的掌柜后不久，就染上了寻花问柳的恶习。他爱上了一个名叫芸香的青楼女子，并出钱为她赎身。两三年后，他得知王有龄升任浙江巡抚，连忙带着芸香一起去道贺。酒席间，王有龄总是偷看年轻貌美的芸香，胡雪岩察觉此事后，立刻强作笑颜，并“慷慨”地把芸香送给了王有龄。此后，王有龄越发觉得自己亏欠胡雪岩的人情，处处为胡雪岩的“擦边球”开绿灯。
至于芸香在那一刻的感受，史书中没有记载。我们只知道，那一年胡雪岩三十出头，风华正茂、一表人才，而王有龄长胡雪岩13岁，已经胡子老长。几年后杭州被攻破，王有龄上吊自杀，芸香是否安然逃生，还能不能再嫁出去，之后的日子可得如何，历史只留下了一片空白。
在与朝廷大员“亲密接触”的过程中，胡雪岩表面看来风光无限，实则没有半点做人的尊严，连他最心爱的人，都可以随时当做交易的筹码。
即使在“贫贱之交”王有龄巡抚面前，他依然动辄下跪，唯恐一语不慎便身遭不测。当年左宗棠也是幕僚出身，无论他的上司是张亮基、骆秉章还是曾国藩，左宗棠都不卑不亢、公事公办，为此险遭横祸，他一生都没有丧失最基本的尊严。“老佛爷”将曾文正公（曾国藩）和李鸿章当做哈巴狗一样的奴才，吆三喝四地百般刁难，却对可杀不可辱的左宗棠颇有几分忌惮。左宗棠的这种骨气，正是胡雪岩最为欠缺的，这也许是商人“但求利润，不择手段”的本性使然。
此外，胡雪岩深恐某些朝廷要员忌恨自己，对自己暗下毒手，因此不断通过左宗棠的关系，向朝廷的最高统治者乞求黄马褂之类的恩赏。更微妙的是，胡雪岩只有在每年正月初五宴请宾客时，才身穿黄马褂“亮相”。面对高朋满座的贵宾，他既要表明自己有“御赐”的特殊关系，又不敢在平日过于张扬，深恐遭到小人的打击报复。
显而易见，胡雪岩在内心深处，充满了自卑与惶恐，家财万贯与穷奢极侈，并没有让这位红顶商人真正感受到“顶天立地做人”的尊严。真正的商道，核心是“公平竞争”与“契约自由”，但胡雪岩的红顶子和黄马褂，只能表明他是一条依附于朝廷的寄生虫，他借助官场之力对市场的垄断，正是对商道最彻底的背叛。所谓的“官商”，也可以被解读为“官不官，商不商”，无论在哪一个领域，他都是个“畸形儿”。
在胡雪岩飞黄腾达的日子里，他的老母金氏，整日为儿子吃斋念佛，在这位老人心中，或许早就料到了胡雪岩不祥的结局。她宁愿跟儿子一起做平头百姓，做小本生意挣辛苦钱，一辈子过粗茶淡饭的安稳日子，也不愿做什么“诰命夫人”，在“伴君如伴虎”的风险下享受荣华富贵。