金斗山寺，传说三面环水，在汉魏时就有卢禅师云游至此，谓其为佛家风水宝地，于是上山坐禅，悟成佛道，九年后不知所综.后人于卢禅师学佛处名为卢禅岩，至今卢禅师学佛的洞壁上石锈卢师坐禅像尚在.唐玄宗时期建护佑寺于此，唐末国师杨救贫师徒登山卜形胜，喝为睡狮形，有九座形肖狮子的山头，一旦九头识字先后醒来，成为九狮过江，必然贵气冲天，多出武官定国.后有有人在半山建银排寺，元时毁，至清乾隆年间，有榔木钟姓长者邀集多方信士，筹资于山顶重建，更名为金斗山古寺，上世纪九十年代末重新修建.古时民间传说，先有燕子窝南山庙，后有泷下金斗山，至宋初南山庙观音到了灵山洞中，谓飞来佛.而后金斗山香火兴旺，周边先后有18座大小庙宇。
金斗山寺来龙发祖于枫边的龙头山，大乌山，方山岭，小乌山，宁山寨，灵山，至花龙尖，燕子窝分支到金斗山，直至香炉峰下泷下水.
山脉的走向真是气势恢弘，而又多似动物形状，俗有九狮八象七凤凰之谓，是形式风水家“乐不思蜀“之所，即使杨救贫再世，也未必能够一一形容得了.而金斗山的十六景和许多传说，更能使人心旷神怡，如:顺告石，香炉峰，仙龟拜佛，风车纽，孩儿石，九曲十八湾，卢禅岩，出米岩，菜园岩，珍珠泉，相爷石，九鲶开眼，九师过江，蛇颈，插鱼洞，龙下水.而九鲶眼(清代邹军的祖坟)周边又有八景:石门，老石窝，八角亭，白竹滩，铁线关门，老鼠沿江，万寿宫，九鲶开眼.古人有诗赋赞曰:天光下戴，地德上承二十八宿列九天，纵横照耀，七十二山分奔驰，起伏恢弘，脉络循环，独论尊卑，奇峦峻拔万千峰，列土木金分左右，观龙楼宝殿，惟仰灵山，察星体钟灵，居然金斗.
据民间传说，大师赖布衣在三僚拜师曾十七公艺成返经兴国时，亦曾登上金斗山相度县城，留下地钳佳句曰:香炉顶挂天池，丹灶云居幽谷.大象宿于中旁，仙凤飞乎上尉，蜂腰渡峡，日月扛夫，鼓角威仪，抡旗并束，观峰峦之叠叠，千山悉是奔随，验潋岁之茫茫，万水成归入局.若是乎，地既灵於其前，人必杰乎厥后.诰轴文塔面对，他年金榜提名，云天金幛频敷，异日斗称福厚.嗟乎，敌后蚕精英，鬼神守护.