绵山又叫岩山，分下、中、上三层。上岩深处银空洞附近的绝壁上有座白衣庵，庵内供奉的白衣观音十分灵验。据说这位菩萨曾在此显灵，绵山就是她的道场。
相传宋朝神宗时，苏轼因在朝中受到排挤，膝下又无子嗣，心中十分苦闷。听说绵山白衣观音有求必应，便约弟弟苏辙同登绵山，凭吊介之推，朝拜观音。他们一路跋涉，登上绵山，来不及欣赏一路景致，便一鼓作气攀上铁索岭，向白衣庵走去。说也奇怪，在这连鸟兽都很少落脚的地方，竟有如此宏大的寺院！进得殿里，见到白衣观音倒头就拜，默默许愿求子，并祈盼仕途顺利。心事了却，才顺原路返回。
当来到塔岩头（龙头寺）时，天色将晚。鸟瞰山川大地，只见落日半隐吕梁，晚霞映照汾川，景色之美，如诗如画。此时，寺院长老指着南天门说：“请看文潞公所题匾额！”门楼上果然有“万象皆昌”四字赫然呈现在眼前。长老又说：“有匾无联，岂非憾事？”苏轼顿时领悟，便欣然在潞公匾额下题写了一副长联：
“庙貌与天齐，云来云去风不定，真是个空中楼阁；化工从地起，花开花谢景常新，将毋同海上蓬莱。”
题写完毕，趁月色下山，借宿在绵山静林水旁的一个村庄。因苏轼曾将帽子上掉下的一颗明珠嵌在溪边的石缝间，这条溪和这个村便被叫做“苏溪”，一直沿用至今。
苏轼弟兄回去后，哥哥得了一子，弟弟得了一女，而且都重新被朝廷起用。这不仅仅是传说，古碑上还有记载。