徐家汇藏书楼始建於1847年，是上海现存最早的近代图书馆，也是我国西学东渐和东学西传的缩影。
现存徐家汇藏书楼为南北交错的两幢建筑：北楼，即大书房，建于1897年，为两层双坡顶，砖木结构，南北立面设多个欧式壁柱尖券洋松百叶窗框，两层的设计理念和风格融合了中西文化内涵，上层为西文书库，布局和藏书拍架为梵蒂冈图书馆式样；其下层原为中文书库，仿照明代宁波天一阁风格；南楼，原耶稣会住院，即神甫楼，竣工后数度改建，于1931年固定为四层坡顶，外廊式建筑。
徐家汇藏书楼于1956年正式并入上海图书馆，之后亚洲文会图书馆、海光图书馆、原上海租界工部局图书馆等处藏书也相继移入徐家汇藏书楼。今天的上海图书馆收藏旧版外文文献计56万册。
徐家汇藏书楼现址收藏自1477年至1950年出版的外文文献计32万册，文字涉及拉丁文、英文、法文、英文、德文、俄文、日文等近20个语种，内容覆盖哲学、宗教、政治、经济、语言、文学、艺术、历史地理等各个领域。其中，1800年前出版的西洋善本中的早期中外语言对照辞典、中国经典西译版本、中国文学经典西译版本、欧洲汉学资料等最具特色。
今天的徐家汇藏书楼不仅延续着阅览服务、文献典藏等功能，还拓展了文献研发和会展旅游等功能，以满足社会对人类文化遗产——优秀历史建筑和旧版外文文献的需求。
徐家汇藏书楼集读者服务、文献保管、开发研究功能于一体。一楼为会展区，展厅不定期举行各种特色文献陈列展和书画展览活动。二楼为读者阅览区，并提供iPac查询、文献复制、参考咨询等各项服务。
徐家汇藏书楼所藏外文文献，语种包括拉丁语、英语、法语、德语、日语、俄语等近20种，内容涉及哲学、文学、历史、政治学、社会学、宗教等各种学科。其中，1800年前出版的西文珍本典籍、旧日文文献、天主教神学资料、汉学资料等藏书较有特色。