地处岳井洋畔，坦荡如砥平原上，隆起五座大小不一，形态各异，海拔不足百米的小山，即松岙山、道士岩、不周山、缆头山和石兰山，当地人把这五座山称为伍山，同时，亦把这五山作为当地伍山的地名来称呼。
百余年前，这里是一片汪洋大海，这五座山其实也是悬水岛屿。大自然的造化，五座岛屿逐渐形成了石质坚而韧，石色白而净，石面光滑而无疵，石纹节理，多见垂直，适宜人工开采的大石窟。
据考证，宋元代时伍山的五座岛屿就开始采石了。石匠们在悬水岛上安营扎寨，常年累月露天劳作，在岩石上用钢凿，俗称“麻雀”。打出的一个个洞，称为“雀洞”。再用大铁锤不断敲击，各个“麻雀”从不同的方位向岩体深入，通过共振的作用，致使页岩与基体分离。就这样，石匠们不怕苦、不惧险，常年在悬崖绝壁上孜孜不倦地开采着。几百年来，伍山石宕不知采出多少块石板、石条运往各地，用于造桥、铺路、砌墙，这五座岛屿因大批采石也就成了采石场。在岩石上开采后所形成的洞穴中，小的洞指石宕，大的洞指石窟。这些石宕、石窟，形状独特，千姿百态，有的形如巨钟，顶如覆锅，四壁如桶：有的状似古代军旅幕帐，长崖峭壁，雄伟惊险：有的横竖旁出，怪石嶙峋，犹如迷宫；有的像巨大方井，垂直而下，深达数十丈，乃至百余米。毗邻方井的岩壁仅隔几十厘米，俯览绝壁深渊，令人头昏目眩，心惊胆战。洞窟的组合形式，有的是弧形、双洞或多洞相通的群洞，上下垂叠，左右相通，洞洞互连，洞洞生奇，曲折回环，幽深莫测，入洞仰望，穿岩透空如窗，削壁横切似长廊，上下层叠成楼阁；有的洞窟积水成潭，一泓碧水，晶莹如玉，深不可测；有的是洞壁渗水织彩，天然壁画，奇妙无穷。其中最大的石窟，可容纳数千人。窟内冬暖夏凉，风雨无虑，可休闲，可娱乐，真是洞天福地。六百年前的诗人张岱，对前人采石遗景不胜感叹道：“谁云鬼斧神镂，竟是残山剩水！”
伍山石窟在革命战争年代，有个瓮中捉鳖的故事。沿海地区常有土匪扰乱，石窟便成为四周百姓的避难所、部队的作战场，窟内吊桥一拉，任你有飞天的本领，也难以前进半步。有一天，土匪进入石窟，还没搞清方向，已被俘虏了。伍山石窟可以说是妙不可言。