随着逃离德国的犹太人越来越多，他们所带来的关于大批艺术品被损毁的消息也越来越多，亨利开始担心他死后自己所收藏的艺术品会遭到怎样的处理。虽然他仍在从事投资活动，而且广泛地参与国际银行业务，但是在超过20年的时间里，他最热衷的事情是收藏艺术品。
当亨利还在哈佛上学的时候就开始学着购买艺术品了。幼年时期在巴伐利亚度过的暑假时光令他迷上了古董，班贝格地区丰富的雕塑和雕刻艺术品都是他最钟爱的艺术品。对他而言，这里就像童话中的仙境一样。在纽约的时候，他每个周末都要到离父母的住所不远的大都会艺术博物馆去参观，对于他那个年纪的人来说，他对艺术的敏感程度远远超过常人。在哈佛读书的那几年，他由于视力问题而不能参加体育活动，因此他把很多时间都用于在波士顿和纽约的各大画廊中寻觅自己喜欢的艺术品，并且在自己的经济能力允许的范围内购买对他最有吸引力的作品。从一开始他就对画廊老板们说，自己购买艺术品完全是凭直觉和眼光，而非听信他人的推荐。他的第一件有分量的藏品是里门施耐德（Riemenschneider）于16世纪创作的木雕，当时的购买价格约为1500美元。此后他还收集了许多不同类型的艺术品，其中有法国哥特式木雕、16世纪佛莱芒乐斑点玻璃，以及一张十分宽大的波斯地毯。终其一生，他对自己的每件藏品都有深厚的感情，这些藏品对他来说不仅仅是投资的又一种工具。
但是直到他从哈佛肄业35年之后，才在一次偶然的机会中，在由伦敦驶往纽约的大型邮轮“伯伦加莉亚”号上遇到了人见人爱的艺术品经纪人约瑟夫·杜维恩，从那以后他才开始认真地进行艺术品收藏。这个时候亨利已经积累了相当可观的个人财富，并且由于有着卓越的商业才干而在金融界闻名遐迩。他们两人的相遇到底是巧遇还是有意为之，我们已经无从考证了。之所以有这样的疑问是因为杜维恩有个专门策划与富有的美国人“偶遇”的名声，他会从这些富人们的仆从、司机或秘书那里刺探他们的行程，从而计划在他们的行程中与他们巧遇。他通常会给这些人数百美元的小费，从而持续获得关于富人们行踪的信息，并了解这些人的喜好，而且除非这些透露消息的人死了，否则他们会一直作为他的“间谍组织”的成员。
约瑟夫·杜维恩是一名相貌英俊的男子，身高超过180厘米，方正的脸庞，深色的头发，短小整齐的胡须，灰色的眼睛炯炯有神。他的笑声具有令人无法抗拒的感染力，精力充沛，而且对任何一笔交易都抱有无限的热情。后来芭贝特曾经说过，这个人让她不禁联想到吉尔伯特和萨利文创造的日本天皇形象，这个操着一口高音调英国腔的商人也会通过击掌来吸引听众的注意，芭贝特很喜欢模仿他的动作。人们给他取的外号很多，比如蛊惑人心者、口蜜腹剑的强盗、小白脸等等，但是他仍旧是所有人公认的一流推销者。他对亨利有着立竿见影的影响力。亨利以前对收藏只是偶尔为之的兴趣爱好，但是在他的影响下逐渐对收藏上瘾，最终形成了世界上最出色的小型文艺复兴艺术品收藏。
杜维恩可谓是他这个行业中前无古人的创新者。早期的收藏家都是从艺术家手里直接购买艺术品，或者从定制过艺术品的皇室成员手中收购。杜维恩则为自己开创了一个专有市场，作为经纪人，他以较高的价格从欧洲收购艺术品，然后再到美国市场上以高额利润脱手。曾经有人评论说，他用自己的支票本重写了整个艺术史。他是自学成才的艺术品鉴赏家，喜欢把自己视为艺术品收藏方面的教育家，而那些制造业和金融界的巨头们就是他最有求知欲和可塑性的学生。他从自己的叔叔亨利那里接手了许多重要的客户，包括阿拉贝拉·亨廷顿（Arabella Huntington）、约瑟夫·魏德纳、本杰明·奥特曼（Benjamin Altman），以及J·P·摩根，他的叔叔曾为这些名人做过室内装修，并且代表他们采购了许多价值连城的古董瓷器和家具。但是约瑟夫的野心不止于此。就在亨利带领着高盛公司走入创新发展阶段的同时，约瑟夫把自己的家族事业从传统的装饰性艺术品采购延伸到了更具投机性、利润更高，同时也更刺激的领域--名家大作的交易。
杜维恩专门雇用了一批“脚夫”，这些人负责追踪富豪们的行踪，确定哪些人可能出资购买精美而又昂贵的名家大作。由于亨利在承销业务上获得的巨大成功和他热爱艺术品的名声，他自然成为这些脚夫追踪的重要目标。因此我们也就不难理解，1911年5月，两人预订了同一班邮轮的船票，并且两人的甲板休闲座位紧挨在一起。在喝茶与品烟的过程中，两人迅速成为莫逆之交，他们的友谊超越了业务关系，而且一直维持到两人去世。
他们两人的性格都争强好胜，把对新藏品的追求视为与高尔夫球或网球一样的竞技运动，他们都有一种发自内心的渴望，希望能用最美好的事物装点自己所处的环境。传说杜维恩会把每一幅新买的画作都立在自己床头边的画架上，这样他就可以带着这件艺术品入梦。而亨利则是另一副模样，他在收获自己的第一幅名家作品，即伦勃朗的画作《圣巴尔多禄茂》之后，对着这幅挂在客厅里的艺术品翻来覆去，兴奋得整夜无法入睡。
两人从来不会否认自己是犹太人，但是由于他们在各自领域中的光辉业绩，他们都被当时最高的社会阶层所接纳。虽然他们结婚时都是由犹太神父主持仪式，死后也都下葬在犹太墓地，但是他们从来不过犹太节日，也不参加任何犹太教的宗教仪式。实际上，他们对圣诞节及其传统意义更感兴趣，他们会花上好几个小时精心调整给朋友和家人的圣诞礼物采购单，他们的手笔不仅让收到礼物的人高兴，也会让珠宝商卡地亚欣喜若狂。
自从两人结识以来，约瑟夫可谓为戈德曼家的人两肋插刀。如果戈德曼家的人到达勒哈弗尔或者不来梅时遇上狂风暴雨，他会安排私人摆渡船去接他们上岸。他们在世界各地游玩的时候，下榻酒店的房间里总会有精美的塞夫勒花瓶盛着玫瑰或者兰花等待着他们。如果他们在越洋航程中想坐头等舱，或者与船长一同进餐，或者他们想要英国皇家歌剧院首演的门票，只要开口就一定能得到。
当戈德曼家的司机告老还乡时，杜维恩恰好知道有一位值得推荐的后备人选。此人名叫尤金·谢克（Eugene Scheck），高大、文雅、金发，不仅是一流的司机，也是熟练的机械修理工。他到亨利家任职之后成为亨利最看重、最信任的亲信，在此后的25年中一直伴随在亨利左右，直到亨利去世。家里的子辈和孙辈，甚至有完美主义倾向的芭贝特都毫无保留地表示十分喜欢这个人。除非他的专车上还有别的客人，否则亨利都会放下前排和后座之间的隔离窗，他喜欢与自己的司机交流世界上的奇闻轶事，通过这种方式了解“其他人”是如何看待同一个问题的。当然，谢克成为亨利的司机也给杜维恩带来了绝佳的机会，他能给杜维恩提供有用的信息，包括亨利对哪幅画比较感兴趣，或者喜欢哪一尊待售的雕塑，甚至能告诉他华尔街上的风吹草动。
就在第一次世界大战爆发前的几年，杜维恩预感到有钱的美国人对名家大作的需求会越来越强烈，于是他及早地采取了行动，说服了这些富有的美国人，收藏艺术品能使他们名垂千古。当然，他也向这些人夸口说只有他本人才是获得这些稀世珍品的关键所在。当时英国和欧洲其他国家的王公贵胄们正迫切地想要换取现金，他们手上就有大量的艺术珍品，这对于杜维恩来说是天赐良机。他借此机会发展了一批重要客户，其中包括约翰·D·洛克菲勒、克拉伦斯·麦凯（Clarence Mackay）、朱尔斯·贝克（Jules Bache）、雷曼兄弟--菲利普和他弟弟罗伯特--以及本来没有多少艺术鉴赏细胞的美国钢铁公司老板亨利·克雷·弗里克，此人以前只会买一些价格高昂、外观艳丽的物品，直到认识杜维恩后才学会了艺术品收藏。
这些收藏者中有很多人都在批量购买艺术品，他们甚至互相攀比，看谁花的钱更多。他们每个人都一心打造自己的私人收藏，希望在质量和数量上都超过别人，这样就可以把这些艺术品作为自己成功的最好证明。一旦他们把搜集名师大作的任务交给杜维恩，他就会巧妙地操纵市场，抬高价格，等到艺术品卖出天价的时候他就能顺理成章地收取佣金，虽然他每笔交易仅收取10%的佣金，但还是积累起了一笔不可小觑的财富。在他的撮合下，一共有95幅梅隆藏品中的画作易手，这些作品现在都收藏在华盛顿特区的国家艺术品博物馆，著名画家萨穆尔·H·克雷斯（SamuelH.Kress）一生创作的700多幅作品中至少有150幅曾经过杜维恩的中介而易主，其中大多数价格都超过20万美元，最高的甚至超过150万美元。
亨利的收藏方式与以上这些买主大相径庭。他是一个内敛的人，他认为自己收藏的名家名作为数不多，而且没有必要像库恩勒布公司的奥托·卡恩那样用自己的收藏去吸引公众的注意力。卡恩为了收藏艺术品，甚至专门聘请了一位公关顾问爱德华·伯尼斯（Edward Bernays）。亨利的目标是用人类所创作的最精美的艺术品把自己包围起来。他所收藏的每一件画作、雕塑、手稿既要在感情上与他产生共鸣，还要在文化内涵上有独到之处。对他而言，收藏是一件非常私密的事情。虽然他在个人感情生活中不太敏感，但是伟大的艺术品和音乐作品都能深深地打动他，传说???每次听到勃拉姆斯（Brahms）或者贝多芬的精彩的小提琴曲时都会热泪盈眶，乔尔乔内（Giorgione）、提香（Titian）、伦勃朗等人的画作都会使他感到目眩神迷。他对艺术品的热爱与杜维恩一拍即合，因为杜维恩最喜欢做的就是不遗余力地夸赞每一位客户最新购买的艺术品。
1912年，亨利和芭贝特长期租下了第五大道998号楼的三楼，这是著名建筑师斯坦福·怀特（Stanford White）专门为大都会艺术博物馆设计的配楼，与博物馆主楼隔街相望。从地理位置上讲，此处离他们过去15年来居住的第76大街上的寓所只有一公里多的距离。但是从社会认同感上讲，却是迈出了一大步，他们以前的居所是非常大众化的、主要以德裔犹太人为主的上西区，那里也是他们的孩子们成长的地方，但是现在的新家是更加高端的社区--租金也更昂贵，就在中央公园对面，也就是当今纽约市最时尚的街区。这处新寓所的房间非常宽大，可以容纳下亨利正在谋划的以艺术品充填的新家庭，也足以容纳芭贝特每周四定期的聚会，这座城市里的经典音乐家、歌唱家，以及作家们都希望受邀参加她的聚会。
对懂得建筑的人而言，这座新楼是纽约市最美的几栋楼之一，但是由于戈德曼家族对隐私的高度保护，现在没有足够的照片来展示其当年的风采。芭贝特本人是出了名的有品位，而且也是时尚的风向标，她特意聘请斯坦福·怀特的传人、20世纪早期最杰出的室内设计师之一、以前曾经做过演员的埃尔希·德·沃尔夫（Elsie de Wolf）为自己的新家做装潢。
亨利对自己的每一件藏品都珍爱有加，而且熟知每件艺术品的所有细节，就算在他的视力完全衰退之后也是如此。在著名的德国物理学家马克斯·玻恩的自传里曾经记录了一个小故事，讲述了1926年玻恩造访戈德曼家时所经历的一段小传奇。玻恩在书中说：“看着他在自己收藏的画作前游走是一件非常令人感动的事，他就像一个明眼人一样能为你描述画作上的每一个细节。曾有一天，海蒂（玻恩的夫人）和我正陪着他，有两位哈佛大学的教授登门拜访，为的就是参观他的私人藏品，他带领客人参观了画作，并且给他们作了详细的解说。当他们准备离开的时候，亨利在经过门厅时不小心绊了一下，客人中有一个问我，‘戈德曼先生是不是视力不太好？’当我回答‘他什么都看不见’时，那位客人就像看精神病人一样盯着我。他说，‘但是他肯定能看到自己的藏品。’我回答说，‘是的，他能看到。但是是通过他充满热爱的回忆之眼看到的。’”
早期的收藏者们一开始通常会购买巴比松（Barbizon）流派的画作，或者18～19世纪英法等国艺术家们的作品，然后再开始追求历史更久远的名作。亨利与他们有所不同，他的第一件重要藏品是伦勃朗晚期创作的一幅画作，也可以称得上是这位艺术家事业巅峰时期的作品。这幅画作的创作时间对这位伟大的艺术家来说正好是人生中最悲惨的阶段，因为那时候他正被迫出售自己的房屋，在公开拍卖会上出售自己的作品，并且彻底失去了自己的社会地位。这幅画作是《圣巴尔多禄茂》，曾是列宁格勒的公主特鲁别茨柯依的藏品，这幅作品是伦勃朗对在自己位于阿姆斯特丹的住所附近所见的贫穷犹太人的最有力的折射。他创作的模特是一个来自街头的不知名的人，其神情代表着几个世纪以来人类所受的苦难。即使是在失明以后很长的一段时间里，亨利还是能想起自己对这幅画作是如何入迷，以及自己是如何无时无刻不想念这幅画作的。但是他对这幅画作的热爱并不是这个故事的结束，而是接下来的故事里很重要的一块铺路石，因为从此之后他展开了长达20年的收藏生涯。
戈德曼家族的藏品中最知名的画作，同时也是最具争议性的画作就是圣母玛利亚怀抱耶稣尸体的那幅，有人称之为“耶稣下十字架”，也有人称之为“埋葬”，著名的鉴赏家伯纳德·贝伦森（Bernard Berenson）声称这幅画出自名家弗拉安杰利科（Fra Angelico）之手，这使得这幅画身价倍增。实际上，这幅画是亨利于1922年购买的，贝伦森在这个过程中发挥了不可或缺的作用。他曾经雇用经纪人到意大利托斯卡纳地区去寻宝，这些人在教堂与富人们的宅邸中寻觅之后，终于给他带来了这幅背衬美丽风景的圣母悼子像。