祖越寺是千山最早的庙宇建筑之一。相传，在开始建寺时，有一位祖师从这里路过，曾仔细察看该寺的建筑，遂名为祖越寺。据考证，它最初建于唐朝，当时的建筑宽阔宏伟，大于现在几倍。后来，在金、元时期，山洪暴发，寺庙被冲毁，遗址就在现址前的低洼开阔处。从遗址中曾发掘出较大的浮雕石栏板、望柱莲花佛座、柱基、残石碑头、瓷片等。这些遗物为考察千山的庙宇建筑和宗教历史提供了重要线索。祖越寺现址为明朝时建筑，清乾隆、道光、光绪年间曾相继重修、整饰，解放后，又多次进行修缮。现有建筑七幢，释迎殿为正殿，它的东侧是胡仙堂和客室，正殿阶下为东西配殿，配殿南有钟楼、鼓楼，呈东西对称。释迦殿正对寺门，门外是一堵石墙，长达五十多米。祖越寺的建筑比较紧凑、集中、规整。它建造在蜿蜒、狭长的喇叭形山谷中，山的地势北高南低，寺前的平地边沿距下面坡地约有十余米，庙宇低洼部分全由石块垒筑垫高，可见当时的建筑工程是很艰巨的。
祖越寺殿宇壮观，山色秀丽，景致优美。东西两面山峰将它紧紧抱合，如双手捧着一颗明珠。上面峰青壁翠，林涛激涌；下面柱红瓦绿，殿宇辉煌。寺旁，山水汩汩而下，清新凉爽；后山，小亭岌岌而立，幽静雅致，使人留连忘返。古人多有游祖越寺颂咏唱和之诗作，今人也多赞叹祖越寺之秀美壮观。前人用“祖越多奇境，天工亦幻哉”的诗句来赞颂，明人徐文华也写诗赞赏：“常遑回合水潺湲，路转坡坨百折还。上界钟声霄汉杳，前山塔影夕阳间，松涛涨壑千岩响，花雨浮空满地斑。坐久虚堂疑误入，恍然身世出入寰。”明御史程启充、明前给事中刘琦、给事中薛廷宠、监察御史朱篪、巡按御史史褒善等都有唱和。有的赞叹祖越寺“岩松宿雾常浮翠，石涧流泉漾落花”，有的赞“山引楼台连碧落”，“山川迤逦画图中”，令人“共来不倦登临兴”，乐游忘返。