五磊寺位于慈溪市观海卫镇五磊山象王峰南麓，据光绪《慈溪县志》等有关史料记载，五磊寺的雏形崭露于公元3世纪。相传三国赤乌年间，吴主孙权之母吴国太坐船途经五磊山，深夜发现山上有隐隐火光，探知印度梵僧在此结庐静修，念其传道虔诚，下令建造了一座寺院，五磊寺的开山祖师印度高僧那罗延从此结束了风餐露宿、枕石漱流的生活。
唐文德年间，僧令頵建五磊寺，名“灵山禅院”。宋大中祥符敕赐寺额“五磊普济院”，天圣九年僧岑继募资修葺。清顺治、康熙间临济宗高僧道忞、达变、拙岩抵寺讲经-，一时间，五磊寺香客如云，僧尼聚集，佛事兴旺，拥有殿堂楼寮140余间，成了浙东善男信女向往的名刹。宣统三年，天台宗四十三世法师谛闲莅寺主持，弘扬天台宗教义，改寺额为“灵山讲寺”，五磊寺遂成了天台宗道场。民国三年，炳瑞法师由金仙寺迁五磊寺任主持，重建大雄宝殿，修葺倾圮梵宇80余间，法音再获重光。民国二十年，亦幻法师倡办律学道场并邀弘一法师主持“南山律学院”，后因故未果。1941年，日本侵略者占领慈溪，在扫荡中炸毁山门和天王殿，佛事从此凋零。
1942年8月，中共浙东区委及三北游击司令部相继成立，曾多次在五磊寺举行重要会议。1985年慈溪县人民政府批准开放五磊寺为佛教活动场所，并定名“五磊讲寺”，赵朴初、沙孟海为寺题额。1987年县人民政府拨款对五磊寺进行修缮和扩建。1988年环山公路开通，同年秋，举行了佛像开光典礼暨建院1100周年纪念法会。
那罗延尊者塔坐落于五磊寺西剩日湾，“文革”期间塔身倾圮，仅存石塔与陶质骨灰甏。石塔高1米，上置倒莲瓣塔顶，下配云纹状塔座，塔柱为六角形，净高0.6米，面竖镌“开山那罗延尊者之塔”，楷体阴文。1981年10月4日，中国佛教协会来函：“三国时梵僧那罗延尊者是早期由印度来华的高僧，他的墓在五磊山麓，应属古迹，拟请加以保护，予以简单修复。”1992年市佛教部门重建那罗延尊者墓塔于五磊寺西。2003年12月慈溪市人民政府将五磊寺及那罗延尊者塔公布为第五批文物保护单位。
“寺以五磊而名，五磊以寺而显”，今日的五磊讲寺建筑面积达7，797平方米，有殿堂楼阁及各类寮舍213间，天王殿、大雄宝殿、观音殿、三圣殿、地藏殿、藏经楼等寺院建筑设施不断完善，浙东名刹的雄姿在五磊山重新展现。