太原府城之文庙，原在城西县前街（即令府西街西段）一带，规模虽壮观，但远不及今文庙。清光绪七年（1881年），汾河决堤，文庙毁于大水。水退之后，山西巡抚张之洞，遂在原崇山寺的废墟（今文庙址）之上，大兴土木，新建文庙，文庙巷之名称亦得于此时。新建的文庙，占地13000多平方米，由亭、殿、门、庑、祠，组成三进院落，利用前崇善寺末毁的零星建筑，较之原庙更为恢宏、庄重、婉雅、俊逸。
随着时间的推移，太原文庙的功用，由奉祀孔圣人逐渐发生了演变，到1920年，文庙改辟为“山西省图书博物馆”，新中国诞生后，于1951年，将一大批劫后余生的文物，收藏于此，形成了初具规模的“山西省博物馆”。如今已是一个收藏和保管有陶器、青铜器、雕塑、书画等9万余件文物、陈列面积达2500余平方米的大型博物馆。经专家初步鉴定：馆藏的诸多文物中，一级文物四百余件，二级文物六百余件，三级文物五千余件。其中，不少物器是国内现存的稀世珍品。这些丰富的、珍贵的文物，从不同的侧面和角度，反映了我省各个历史时期和历史阶段的政治、经济、文化、科技、艺术等方面的发展状况。为了使这些文物，古为今用，服务于现实，山西省博物馆本部，利用原文庙的旧有建筑，以历史分期为界，开辟了“山西古代史”、“山西近代史”、“山西革命史”三个大型陈列室，展出了我省从原始社会、封建社会到半殖民地半封建社会的各种文物，揭示了汾河流域的悠久历史和灿烂文化