1874年，胡雪岩51岁。这一年，他做出了一生中最重要的决定——开一家大型药店，以悬壶济世、广泽苍生，作为自己一生事业的落脚点。这家药店总号设在杭州城内，被胡雪岩命名为“胡庆余堂”，源于《周易》中的“积善之家，必有余庆”。他把胡庆余堂，作为自己毕生功业的落脚点。
据说，为了建造胡庆余堂，胡雪岩甚至动用了慈禧太后准备用来新建圆明园的木材。
圆明园在1860年被入侵北京的英法联军焚毁，十几年后，同治皇帝长大了，希望结束由慈禧太后垂帘听政的局面，于是降旨重修圆明园，以孝敬母后的名义，请母后迁居到圆明园享清福，从而远离朝政。慈禧起初欣然应允，但后来转念一想，发觉了同治皇帝的用意，于是立即下令停工。胡雪岩通过官场的朋友得知此事后，设法把其中的一些木材运到杭州，用来修建自己的胡庆余堂。胡庆余堂的排场，由此可见一斑。
胡庆余堂挂着一块醒目的匾额：真不二价，向所有买家表明了胡雪岩童叟无欺的诚信。另一块著名的匾额，上书四个大字：是乃仁术。胡雪岩建立药店的目的，首先是普济众生的仁爱，其次才是经商赚钱。
胡雪岩自己并不熟悉医药，但他深知放权与委任可以解决自身能力的不足，于是决定不惜巨资，聘请一位德才兼备的药业精英，担任胡庆余堂的掌柜。他在上海《申报》上刊登招聘广告，很多精通医药的名商大贾，都希望托庇于胡雪岩，因为“大树底下好乘凉”，于是纷纷前来应聘。这些前来应征的人，有的说能让胡庆余堂两年内赚到十万两白银，有的建议胡雪岩在小本经营中稳健求胜。胡雪岩听罢，对这些应聘者都一笑谢绝，他觉得这些人都太俗气。
正当胡雪岩为胡庆余堂的掌柜招聘一筹莫展之时，他偶然听说，江苏松江有一家余天成药号，其经理兼股东余修初，对待顾客非常仁义，而且极有魄力，但余天成药号的资金有限，因此仅在当地小有名气，难以做大做强。
胡雪岩亲自来到松江，向余修初登门求教。胡雪岩是学徒出身，从小就乐于向他人求教，从而获取各种行业的知识，在成为杭州头号富商之后，依然不耻下问，而且待人非常谦和。
余修初对胡雪岩说：“开药店不应该像开当铺一样单纯追求利润，应当以仁德为先，把治病救人作为第一目的，并不惜血本采购精良药材。此外，要成大气候，就应投入巨资开办制药厂，形成药品的产供销一条龙。”胡雪岩听得喜出望外，当场以重金把余修初请到杭州，让他担任胡庆余堂的第一任经理。
在胡雪岩的鼎力支持下，余修初上任伊始，就做出了一件“破天荒”的大事——免费向难民施药。当时湖州等地爆发瘟疫，余修初得知此事后，立即派人到水陆码头，向过往百姓免费赠送祛除瘟病的特效药，托他们将药转送给无钱治病之人。店内一些伙计对此甚为不解，但胡雪岩和余修初相互抚掌大笑道：“此乃仁术也！”
胡雪岩抱定了就算连赔三五年也在所不惜的打算，在免费向难民送药的同时，他还出资在钱塘江修建码头、购办船只，让两岸的贫民可以免费渡江。很快，胡雪岩与胡庆余堂的名声，在江南地区口口相传，胡庆余堂的生意越来越兴隆。
随着业务量的扩大，胡雪岩对药材的质量，要求得更加严格。胡庆余堂和很多匾额，都是面向客户的招牌，只有“戒欺”的匾额，朝向药堂的内室，警戒所有的工作人员，都要做到“采办务真，修制务精，不至欺予以欺世人”。
胡庆余堂规定，所有药物必须到质量最佳的产地去采办，如当归和党参只要陕西的产品，川贝和黄连只要四川的产品。在药材的加工过程中，一律采用金锅银铲，因为金（Au）和银（Ag）是最不活泼的金属元素，能够在最大程度上，避免与药物本身发生化学反应，从而保证药品的质量。
此外，负责炮制药品的伙计，都必须经过三年的系统学习才能出师。每一种药剂通过何种方式加工，都有严格的操作规程。例如，微量的砒霜（0.05克以内）不会造成服用者中毒，并可治疗某些疾病，胡庆余堂规定，凡是含有砒霜的药剂在捣药和搅拌的过程中，根据药性的不同，必须达到几百下甚至几千下，一下也不能少。再如，麻黄要去节、莲子要去芯、肉桂要刮皮、五倍子要去毛等，都被列入操作规范，必须一丝不苟地执行。
胡雪岩深知，前来买药的顾客大都心情不佳，因此，他将胡庆余堂的环境布置得非常优美，有水池、假山和长廊，并为顾客提供免费的茶水。此外，店员会热情地和顾客攀谈，询问给谁买药、什么症状等，并提供购药的建议。
一些同行药商自叹无力与胡雪岩竞争，于是散布谣言说胡庆余堂的特色补品“大补全鹿丸”是假货。胡雪岩听闻此事后心生一计，每逢“黄道吉日”，经常看到胡庆余堂的伙计抬着一头膘肥体壮的梅花鹿，在杭州城里敲锣打鼓地游街，然后当众将这头鹿宰杀。这不但让谣言不攻自破，而且更加提升了胡庆余堂“货真价实”、“真不二价”的口碑。
在胡雪岩的有生之年，胡庆余堂已成为江南地区数一数二的著名药铺，被誉为“江南药王”。
此后百余年间，胡庆余堂的精品药剂，长期享誉市场，拯救的生命不计其数，其间虽几经易主，但始终屹立不倒。直到21世纪，胡庆余堂依然保持着腊八节免费赠送八宝粥的传统，此外，一年四季都在店内为顾客免费供应保健茶水。
2003年“非典”期间，金银花、野菊花等药物供不应求，价格飞涨。面对每天络绎不绝的购药者，胡庆余堂的董事长冯根生毅然决定：抗“非典”的药品售价一分不涨，宁可低于进货价格赔本让利出售，由企业自行承担亏损。这种铁肩担道义的精神，自胡雪岩和余修初以来，历经百余年，一直传承至今。
“北有同仁堂，南有庆余堂”，如今的胡庆余堂，已成为中药行业的顶尖品牌。饮水思源，当年胡雪岩兴建药房、悬壶济世的功德，将永垂史册，成为代代相传的佳话。