16世纪，在卢瓦尔河分支的河床上，古老水车的旁边，修建起了一座方形的建筑，这就是神农索城堡的雏形。这是一个穿越历史的古迹，因为它的历任主人都是法国历史上有名的贵妇，所以它拥有着“贵妇人城堡”的美誉，黛安娜·德·普瓦捷花园、卡特琳娜·德·美第奇花园、迷宫……富有魅力的建筑、典雅的装饰和浪漫的法式花园更让它成为卢瓦尔河谷最受游人青睐的城堡之一。
卡特琳·布理高勒是神农索城堡的第一任女主人，也是诺曼底财政长官的妻子、财政大臣的女儿，这些人代表着王国财政管理的最高层。在卡特琳和她的丈夫去世之后，城堡由他们的儿子负责，这时国王下令检查城堡账薄，最后要求他将城堡划到皇家名下。神农索城堡归弗郎索瓦一世所有，从此它变身为皇家财产。后来，城堡的新主人法王亨利二世将城堡送给深受他宠爱的黛安娜·德·普瓦捷。她设计并主持修建了横跨歇尔河的法式花园，城堡由此成为横跨河流两岸的建筑。
黛安娜·德·普瓦捷是法国宫廷主管大臣的妻子，她也是瓦伦天努瓦女公爵，还是王后的女官。她不仅拥有美丽的外表，而且还是一位聪慧和具有经营头脑的女性，这些使得她激发了王储——未来的亨利二世对她的激情。1547年亨利二世充分利用他治理王朝事务的天分，以感谢黛安娜·德·普瓦捷的丈夫对王室效忠的名义，把神农索城堡赠送给了她。在她手里，神农索城堡成为了当时法国最瑰丽、最现代的城堡。尤其是她的花园，栽种了各种品种的花卉和树木，这些植物装点了很多花圃和小道，花园里还设置了意式喷泉。1559年，亨利二世被刺身亡，他的遗孀卡特琳娜从黛安娜手中重新夺回了神农索城堡。
卡特琳娜·德·美第奇是亨利二世的遗孀，弗郎索瓦二世、查尔斯四世和亨利三世的母亲。她野心勃勃、独裁专政、聪明而狠毒。她把她的领地神农索城堡以及城堡的生活推向奢华、聚会和盈利的顶峰。她进一步发展了前任主人的扩张风格，大力兴建养蚕场，在当地纺丝，在奥尔良开创了王后面料。她经过重组农场、租田、磨坊、森林和领地，使得城堡的收入大幅度增长。她还修建了更加奢华的园林，特别引进了柠檬树和桔树，极好保持了花圃的空间平衡，繁殖小灌木林，增加岩洞、作坊和喷泉，同时还大摆宴会，将节庆的艺术提高到了最高的境界。