虽然一开始的时候富裕的德国人都嘲笑纳粹党及其党徒们不过是不值一提的乡巴佬，但是底层人民很容易被煽动起来。戈德曼夫妇每年春天还是会与学术界的朋友们例行访问德国，他们都认为这个政权只不过是昙花一现，很快就会消失在历史之中。他们当时担心的问题是亨利在几次大手术之后仍然没有复明，他的视力只剩下10%左右了。他越来越需要依靠芭贝特的照顾，他聘用了一名大学生来为自己阅读和写作书信，在芭贝特离家疗养期间，他还需要聘请全职的护工来照料自己的生活。他找到的护工是一位单身德裔美国女性，年轻貌美，名叫弗里达·舒尔茨，大家都以她的姓亲切地称呼她，对于亨利来说她是最好的选择，因为她机灵，脾气好，而且没有家庭的牵绊。与戈德曼家的司机尤金·谢克一样，大家都把他们当做“自家人”，而非外面请来的帮手。
1933年，亨利对德国的社会政治氛围的看法发生了转变。他从柏林的阿德龙酒店给杜维恩写信时说道：“当我看到他们对和我们一样的民众做出那样可怕的事情时，就像我自己也正在被虐待一样。”他让芭贝特到巴黎去，并且计划一周之后与她在伦敦会合。与此同时，只要他离开酒店就势必能看到犹太人的公墓被损毁、纳粹党人当街打人、老人被任意欺凌的场景。德国政府主导了一场抵制犹太人商业的运动，犹太人工厂和商店的门口都有佩戴纳粹十字章的全副武装的士兵把守。在大街上遇到认识多年的人时，他们要么跑到路的另一边，要么就盯着空荡荡的商店橱窗，尽量避免与亨利谈话。
亨利写道：“希特勒竟然能成为一个如此有文化有创意的国家的领袖，简直令人不可思议。”但是像他一样拒绝接受现实的人远不止他一个。等到他们看清局势时，即使是最富裕的犹太人家庭也已经被剥夺了财产，被禁止参观博物馆，禁止听音乐会，禁止看电影，甚至不能拥有仆人、收音机、电话等，最终还被迫离开了自己的寓所。虽然犹太人不断被清除出大学的教职员队伍，图书馆里“非雅利安”传统的书籍也被焚烧，但是没有人会想到大量的艺术品也将被纳粹没收。一些大收藏家在局势不可挽回之前及时出售了自己的藏品，并离开了这个国家。有些人则把艺术品藏在自己的后院、银行保险柜、城堡地窖、博物馆储藏室等地方，有的则偷运到了瑞士。大量稀世之宝成为戈林（Goering）囤积的藏品中的一部分，直到今天，将这些艺术品归还原主或其后裔的工作还在进行之中。这一年春天亨利离开德国的时候可能不曾想到这是自己一生中最后一次造访德国，但是他却从那个时候开始担忧自己死后那些藏品会受到怎样的处置。
多年来，芭贝特私底下一直质疑杜维恩与自己的丈夫保持良好的关系是否出于真诚。她觉得杜维恩有教养而且风趣，她对杜维恩花费大量时间陪伴自己的丈夫也很感激，但她始终都有一种挥之不去的疑虑，那就是两人之间这种“黏糊糊”的关系只不过是杜维恩为了掩盖自己的商业动机而刻意为之。但是在亨利78岁的生日宴会上，她把这些顾虑都放到了一边，这次生日宴会是一次传统的烤肉宴，地点就安排在他们位于第五大道的寓所当中。她找人清理了餐厅中的家具，在腾出来的地方放置了长条木桌和像公牛岬营地那儿一样的锈迹斑斑的长椅。木桌上铺设大红色方格桌布，桌上摆放着红白相间的玫瑰花，还有无数根粗大的红蜡烛。她专门为宴会邀请了一位手风琴演奏者，餐厅一头架起了一个台子，烧烤的食品都在这里制作好之后抬上桌面。那些盛装出席宴会的宾客们都被这个布置吓了一跳，他们只能边吃烤牛排边喝香槟，餐后的饮品是德式加奶油的“冰咖啡”，当然少不了生日蛋糕。
杜维恩夫妇和往常一样姗姗来迟。这一次迟到的时间还很长。在等他们的时候，家里的孙辈们已经拉着当天的宾客代表开始演唱德国民歌，并欢快地合唱“祝你生日快乐”。杜维恩放弃了一贯的奉承话--“这些都是极品！这是我这辈子见过的最好的！”--他直接给老朋友呈上了一个蓝色的礼盒。盒子里装的是亨利渴求已久的霍尔本（Holbein）创作的两幅微型肖像。由于无法用眼睛观看，亨利只能以抚摸的方式在画面上轻轻地触碰，一次又一次，欲罢不能。参加宴会的人都在此时安静下来，连家里的小孩子们都被深深感动了。
1936年8月，杜维恩正在伦敦办事，他收到了一封亨利寄自萨拉纳克湖避暑别墅的信件。亨利在信中说：“美国的局势正在逐步好转，持续朝着我预想的方向走，罗斯福总统的政策对扭转局势起到了重要的作用，如果他再次当选，我认为这种前进的好势头会一直保持下去。但万一他在竞选中被击败，那么我认为整个局势又会逆转，那时你们就要加倍小心，预防经济再次下滑。”他还请求杜维恩多向他透露一些与梅隆商谈在美国首都创办国家艺术馆的进展情况，然后他说想出售自己所有的藏品，他本人希望能通过私人交易出售，但是如果有必要的话，也可以考虑公开拍卖。他说：“一个月之后我就步入耄耋之年了，我有一个非常奇怪的念头，就是要让我的寓所作好接待必死之人的准备。我必须在自己头脑还清醒的时候采取果断的行动。”他从来没有和家人商议过这件事，他提议由杜维恩出面找人代为处理所有艺术品。
作为知心密友，同时也是出于一贯的精明商人作风，杜维恩马上联系了自己当时最重要的客户萨穆尔·克雷斯，此人的收藏不论规模和范围都已经超越了梅隆，杜维恩请克雷斯对亨利的藏品开价。根据杜维恩的传记作者梅莉·希可丝特（Meryle Secrest）的记述，克雷斯当时着实吃了一惊。他问：“亨利破产了？”这是他所能想到的出售艺术品的唯一正当理由。向克雷斯传达这个消息的秘书答复他出售画作与经济问题毫不相干，但是他必须立刻作出决定--事实上当天下午就必须回复。亨利·戈德曼是个出了名的没耐心的人。克雷斯没有听取秘书的建议，他指示：“拖住戈德曼！”等他指派的代表人准备打电话拖延出售谈判???已经错过了最好的时机。亨利一辈子都强调雷厉风行，这次也没有例外。他把自己收藏的画作中最重要的10幅打包出售给了杜维恩的公司，总价77.5万美元，远远低于这些画投保的价格。
这是亨利出于他们之间的友情而作出的一个有利于杜维恩的举动，因为这些作品如果通过拍卖出售的话，每一幅的价格都会被公众得知，而现在杜维恩可以自己给这些艺术品标价，也就可以加上巨额利润之后再转手出让。到这个时候克雷斯意识到自己错过了一桩难得的大收购，他要求看看这些画作。杜维恩非常高兴地在克雷斯的家里为他展示亨利的藏品，当然少不了从旁对每幅作品都大加赞赏。虽然克雷斯的顾问们一再提醒他要注意，而且明确提出其中几幅作品在修复过程中有过度之嫌，但是这位老人还是买下了全部画作，他的购买动机或许是这些藏品曾经为“杜维恩收藏”，这本身就已经增加了它们的价值。
亨利手头剩下的艺术品也很快根据杜维恩画廊所定的价格一一出售了。如果艺术品最终的成交价格超出原本的定价，杜维恩画廊就可以把超出的部分作为自己的收入留下。如果成交价低于定价，杜维恩画廊则自己掏钱补足。对于画廊来说，这种交易形式对他们是十分有利的，因为他们可以在出售过程中报出远低于这些艺术品投保价值的价格，这种做法对戈德曼家也是有利的，因为这可以帮助他们避税。
但是我们这些后人只能猜测亨利是出于伟大的利他主义精神才执行了出售艺术品的计划，同时我们也猜测可能是他和杜维恩在圣瑞吉酒店共享咖啡和雪茄时就谋划好的，他的目的就是为了让所有人都能欣赏到这些在私人收藏中与世隔绝多年的艺术珍品。《梳妆的维纳斯》现陈列在巴黎卢浮宫，弗朗斯·哈尔斯的《警官画像》现在是华盛顿特区国家艺术馆的重点藏品，鲁本斯的《墨勒阿革洛斯》则捐赠给了大都会艺术馆。他那幅珍藏最久的伦勃朗画像最后通过杜维恩于1947年出售给了威登斯坦画廊（Wildenstein Gallery），5年之后被普特南基金会（Putnam Foundation）购买，最终捐赠给了加利福尼亚圣地亚哥市的蒂姆肯艺术馆（Timken Museum）。