胡宅内设33间厅堂房室，有桌、椅、台、凳上千件，全部用上等红木制成，有的简洁明了、线形流畅；有的工艺精巧、绚丽豪华，尽显明清两代家具的传统特色。
胡雪岩的居住地建于清同治11年间，占地10.8亩，建筑面积5000多平方米，当时耗白银10万余两。从元宝街古老门厅就可以进入到红木厅、十三楼。经月洞门到芝园，迎面一座仿照飞来峰叠成的人工假山，山上高耸胡宅最高的御风楼，四面临空，供休闲赏景。假山内洞壑宽广，冬暖夏凉。假山前有九曲桥、重檐八角亭、石栏平台，旁又有观棋楼，四周雕嵌名人书画。全园林木葱茏，四季花香。
“芝园”是胡雪岩故居的花园，内有一楼称为“延碧堂”，全用红木建造，也称红木厅。厅前4根巨大立柱，都是整根红木，气宇轩昂；厅内花窗雕刻精细，摆设古色古香……厅前一个大露台，隔着一池清涟，对面有一座造型奇特的假山，山内隐藏着国内现存最大的人工溶洞，内分“悬碧”、“皱青”、“滴翠”、“颦黛”，分别与“瘦、皱、漏、透”吻合。“悬碧”顶上一缝，极似灵隐一线天，洞内怪石凌空扑出，险兮兮似将坠落，正与壁立当空、孤恃无倚的“瘦”相吻；“皱青”洞壁表面肌理筋脉显露，凹凸不平，正合“皱”；“滴翠”则是一个奇壑擎成的大洞，四周峭壁嵌满碑迹，顶上石乳累累下坠，清泉从石乳中滴下，营造了“漏”的意韵；转过一条暗道，进入“颦黛”洞，一缕光亮从顶上透下，正应了石之“透”。假山内还有洗药池、岩石廊等景。董其昌、郑板桥、唐伯虎、文征明等名家书法石刻遍布假山……有人称“芝园”为“擘飞来峰之一支，似狮子林之缩本”，并不为过。
胡宅内设33间厅堂房室，有桌、椅、台、凳上千件，全部用上等红酸枝制成，有的简洁明了、线形流畅；有的工艺精巧、绚丽豪华，尽显明清两代家具的传统特色。楠木厅梁柱、窗棂、家具、雕饰俱用楠木，被称为旷世奇楼；和乐堂柱子用南洋杉，栏杆为紫檀木，格窗用花梨木、酸枝木、黄杨木制成。
楼上是胡雪岩12位姨太太的住处，每间都有雕技绝伦的砖雕门洞，神仙人物、飞禽走兽、花草静物……应有尽有，其高浮雕、半圆雕的手法令人叹为观止。
古语云：“食色性也。”一代儒商、红顶商人胡雪岩不但在商场上叱咤风云，在政坛上春风得意，而且在情场上更是游刃有余，堪称情场上的高手。
胡雪岩是个风流成性的寻花老手，他常自谓：“一不做官，二不图名，但只为利，娶妻纳妾，风流一世，此生足矣！”因此，对于合其心意的女子，他一般不会轻易放过。
当然，作为一名成功商人，胡雪岩在情场不忘商场。他在创业期间所遇到的女人，几乎都是为他的事业服务的：有的成为被他所用的“牺牲品”；有的非常幸运地被他收为小妾，但纳其为妻的先决条件是此女子必须有益于他将来事业的开拓。从某种意义上来说，胡雪岩能够成长为一代“红顶商人”，这些具有“帮夫命”的小妾们起到了极大的作用。
在创业初期，胡雪岩偶遇因父亲入狱被卖入“梨花春”的官宦人家千金小姐芸香，并被其美貌所吸引，但他深知以自己当时的身份，无福消受美人。他在万般懊恼之时，灵机一动，把芸香做顺水人情送给了自己的靠山王有龄巡抚。
这样做，胡雪岩虽然失去了芸香，但却得到了王有龄的器重，得到了芸香这个忠心的眼线，从此掌握了王巡抚的行踪，在某种意义上可以说是控制了王有龄，使其为他所用。这桩交易做得无懈可击，芸香成了胡雪岩走向成功的第一个筹码。
俗话说：“舍不得孩子套不着狼。”在商言商，为了自己的长远利益，胡雪岩一次次忍痛割爱，把自己的所爱像商品一样“一件件”送给了别人。为了傍上江苏省学政何桂清这棵大树，他又将自己的爱妾“阿巧姐”作为又一件礼物送给了何桂清。
虽然胡雪岩一再强调感情与生意应该截然分开，二者不可以混淆，但他与阳琪的结合，却更看重了感情对生意的促进作用。与阳琪成亲后，阳琪立刻成了胡雪岩的左右手，令他如虎添翼，有力地促进了他事业的进一步发展。只可惜，阳琪过早地去世了，这多少留给胡雪岩一些遗憾。但不久，胡雪岩就遇到了另一位与阳琪极其相似，极具商业头脑的姑娘。她就是胡雪岩身边最重要的一位女子，陪伴胡雪岩走完人生的翠环姑娘，即当时小有名气的“螺蛳太太”。
胡雪岩虽然已成为红极一时的商人，但家中妻妾肚中无货，上不得台面，这一直是胡雪岩心中的一大遗憾，以致胡雪岩常叹知音难求，心中十分孤独。翠环的出现，令胡雪岩眼前一亮，凭借其敏锐的眼光，他认为翠环即是上得厅堂、入得内室，自己寻觅已久的贤内助、红颜知己。于是胡雪岩打定主意要赢得翠环姑娘的青睐，非娶她为妻不可。后经努力，以“两头大”的形式，娶翠环为妻。翠环果然精明能干，很快成为胡雪岩的左膀右臂。她的心思极其细密，很会迎合丈夫的心意，为胡雪岩连娶十二房姨太太，使胡雪岩感激不尽。作为回报，胡雪岩将其扶正，使其登堂入室，成为胡府的“掌印夫人”。
胡雪岩娶的这十二位姨太太个个正值花季，美若天仙，号称“东楼十二钗”。胡雪岩对这十二位姨太太特别宠爱，在她们身上挥霍掉大量的金钱。他为这些姨太太建造了休憩场所——娇楼，使姬妾分室而居，而他则像皇帝一样，每晚随手拈牌招姬妾入寝，生活极其奢靡。单是娇楼，就极其奢华，耗资数万。该楼金碧辉煌，四周风景秀丽，又以人工西湖、蓬莱仙阁等景点巧妙地点缀，更是令观者目不暇接、心旷神怡。自此，胡雪岩便整日泡在娇楼之中，沉溺于温柔女儿乡。正如汪康年在《庄谐选录》中所写：“杭人胡某，富可封君，为近今数十年所罕见。而荒淫奢侈，迹迥寻常所有，后卒以是致败。”胡雪岩荒淫而奢靡的生活习性，与他最终的失败有着密切的关系。