洞山寺位于上窑镇东北神山，山道东侧。洞山寺原名大圣庙，其建成年代已无可考稽，据传始建于佛教盛行的唐代，位于上窑镇之神山。《怀远县志》、《大清一统志》载：“……其东峰曰神山，高二百四十五丈”，“中有仙人洞，故名洞山”。
农历二月十九日，为观音圣诞，适逢阳春，为此，洞山寺会期即定于该日，其会期盛况空前，四面八方，白叟黄童，欢声笑语齐来赶庙会，淮河两岸善男信女，顶礼求神竟至。登其庙台，但见焚香点烛，膝地而拜者无数；又闻锣鼓喧鸣，礼佛求嗣声不绝。
洞山寺松竹掩映，山林野趣，又有洞山八景，更使人流连忘返。清道光年间拔贡朱第在《庙启》中这样描述洞山八景：“奇峰障日，并银杏参云；峭壁摩天，挂仙桃而隐雾；洞里则仙人留迹，滩头则王母遗踪；桥落长虹，横悬崖经度；岩开斗室，藏石佛以称尊。信以为稀有之名区，真属非常之妙迹。”
洞山寺于1938年毁于日寇战火。党的十一届三中全会后洞山寺经人民政府拨款，广大群众集资，已初步得到修整。现已建成观音庙一座，内塑观音送子像，院内建和尚墓三座，造型各异，极富佛教色彩。石壁上新刻绘彩色佛像一尊，光泽鲜润，神态逼真。在峰巅新建了两处亭阁，一尊水泥塑造的石娑娑已安放斗室，供香还愿。