相传唐咸通年间，有为名叫慧锷的日本和尚来到中国，游历了许多名山大川，朝拜了许多古刹。这天，他风尘仆仆，健步登上了我国第一佛教胜地五台山。五台山是个好地方，灵岩、古松、涧水、百花，寺院隐现于深山密林之间，十分幽静。慧锷和五台山的方丈一起念经讲法，参禅下棋，成了莫逆之交。
有一天，慧锷在大殿后院，见到有尊檀香木雕成的观音佛像。那佛像神态安详，鬓发眉毛均极细腻，栩栩如生。慧锷站在观音佛像前，看了又看，赞了又赞，连方丈来叫他吃饭都没听见。方丈见状，便问道：“法师认为这尊观音佛像雕得如何？”
慧锷连连称赞道：“好，好！我这么大岁数了，还是第一次见道哩！这佛像刻功细巧，把观音大士的神态都雕了出来。真是一尊活的大慈大悲的观音菩萨啊！”
方丈见他喜爱，便笑眯眯地说道：“如若法师欢喜，就送你供奉吧！”
慧锷听了，慌忙合十顶礼。他接过观音佛像，喜不自胜，打算回日本去建寺供养，让日本众生都来朝拜。
慧锷离开五台山，又游九华山，最后从五台山下来，从灵江口扬帆回国。
这天，船到普陀山洋面，突然刮起了大风，刮得船东倒西歪，直打转转。慧锷没法，只好把船驶进普陀山的一个山岙里，抛锚落帆，等大风平息后再走。
第二天，风息了，浪平了，惠锷扬帆启航，可是船刚驶出山岙，洋面上突然升起了一团灰白色的烟雾。烟雾越升越高，像顶帐帘，正好挂在船头前面，挡住了去路。惠锷惊奇地站在船上，抬头望望，头顶是一片蓝天；左右看看，烟雾两边都是清晰明亮的大海，惠锷只好调转船头，绕着烟雾朝前驶。可是帆船驶向左边，烟雾飘到左边；帆船驶向右边，烟雾也飘到右边。船在海上绕来绕去，最后还是回到了普陀山的洋面上，惠锷想想没有办法，只好再次把船驶进山岙里，抛锚落帆，等烟雾消散了再走。
第三天早晨，红彤彤的太阳从海面上升起，光芒四射，霞光万道，惠锷走进船舱，抬头一看，但见彩云中间，有幢巍峨绚丽的彩色牌楼，仙女往还，珠光宝色，耀人眼目。他心中喜悦，合十顶礼，马上扬帆启航。奇怪的是，船一出山岙，天上的奇景就突然消失了，乌云遮住了太阳，海风掀起了巨浪。惠锷发了急，想想在这里已经耽搁了好几天，老是这样下去，什么时候才能把观音请回日本啊？这点风，这点浪，算得了什么！开船，赶快开船！
惠锷请船家把船驶出山岙，顶风破浪朝前驶去。风更猛了，浪更大了，但是惠锷心不慌，意不乱，稳稳地合十站在船头，涌经念佛。风浪虽然慢慢平静了下来，可是没等驶出多远，帆船突然停出了，好象生了根一样，进退不得。他低头一看，只见海上飘来一朵朵铁莲花，帆船被团团围在中间。惠锷大惊，心想，一次一次开船，都是风浪阻挡，今天又有铁莲锁舟，难道是观音大士不愿去日本么？他回到船舱里，跪在观音佛像面前祈告说：“如若日本众生无缘见佛，我一定遵照大士所指方向，另建寺院，供养我佛。”
话音未落，忽听得“轰隆”一声，从海底钻出一头铁牛。铁牛一边往前游，一边大口大口地吞嚼铁莲。一会儿功夫，洋面上就出现了一条航道，正好能够通过一条帆船。帆船跟着铁牛后面，沿着这条航道前进。不久，又是“轰隆”一声响，铁牛沉入海底，满洋的铁莲也无影无踪了。惠锷定神一看，原来帆船又回到了普陀山的一个山岙里。
云散了，天晴了，太阳高高挂在天空。这时，有个渔民从山上走下来，对惠锷说：“这几天的事情，我都亲眼看到了。你走不成了。还是请法师到我家里住几天再走吧！”
惠锷见他这样热情，便答应了。他手捧着观音佛像，跟着渔民爬上普陀山，放眼一看。但见金光闪闪的沙滩上，海潮时退时涨；郁郁葱葱的山峰周围，是一片茫茫无际的海洋。晨观日出，夜听潮声，与五台山相比，真是另有一派风光。他心想，既然观音菩萨不愿去日本，就在这里造座寺院，让观音菩萨定居在普陀山吧！周围的渔民听说要建寺院，都来相助，没多久，就造成了一座小庵堂。
庵堂造好了，佛像供上了，惠锷朝暮参拜。从此，这尊檀香木雕成的观音佛像就留在普陀山了。那座小庵堂，就叫不肯去观音院。