原来这个渡口，称为古渡。渡口有位姓李的老人，年逾古稀，童颜黄髯，身穿黄衣，不善言谈，性情奇特。他在这里常年撑着渡船为往来的行人过渡，对过渡的穷人不收分文。当地人见他身穿黄衣，长着黄胡须，所以称呼他为黄公公。
黄公公原来是李唐皇帝的后裔，为避战乱，弃官隐居在宁海花园村，后来又东迁到胡陈南李村。黄公公因是唐朝皇裔，所以从小到老爱穿黄衣，以示不忘祖宗。青少年时的黄公公，长得英俊，力大无比，受仙人传授武艺，十八种兵器件件皆精。仙人见徒弟学业有成，一脚踏在南李七龙坑旁的大岩石上返回仙界。至今大岩石上还留下了清晰的仙人脚印。黄公公自小有抱负，身怀武艺，数次上京，均因奸人挡道，未能入仕，报国无门使他心灰意冷，养成了倔强的性格。
自黄公公来此定居后，在数次上京必须要经过的渡口，他亲眼目睹涨潮海水汹涌澎湃，退潮渡口落差很大，人们往来非常不便。黄公公自愿到古渡撑船，为民做好事。尽管此渡口潮急浪高，但他有一身好武艺、真功夫，所撑渡船平安无事。黄公公常年累月一直坚持撑着渡船为民做好事，深受群众的爱戴。
黄公公人老心不老，在撑船之际，突发奇想，何不在有生之年在此渡口建筑一座桥梁，方便人们。但由于当时种种的困难，终难建成，直至老人年近九旬，年迈劳累，壮志未酬。
后来，南宋叶梦鼎丞相的老师郑霖大学士，来到黄公公老人居住过的茅屋，住了七七四十九天，终于发现此渡口是龟蛇争潮处，只要用石锁锁住蛇头龟头，镇住海潮，就可以平息海浪。于是，郑霖大学士将龟头顶茅屋拆去，修建了一座寺院，镇住了龟头。而海港对面的蛇头，郑霖义采用灵峰巨石，花了九九归一时辰制成石锁，镇在蛇头七寸处把蛇头镇住，使蛇龟隔海相望，不得争斗。于是，郑霖与灵峰寺元海法师一起在原桥址上再次筑桥，年复一年，千辛万苦，化了20年的时间，终于建成廿四洞的跨海石拱桥，全长120米，可称为古代的一大奇迹。他们实现了黄公公老人的夙愿，人大方便了人们的通途。
后来，人们为纪念黄公公，将古渡改称黄公渡，所建寺院称为登台禅寺，寺内塑了黄公公的像，以供后人敬仰祭祀。现在，当你站在登台禅寺山门口，还能见到当年郑霖大学士与元海法师所建的黄公渡廿四洞桥墩遗址。如今一座雄伟的钢筋水泥大桥横跨在港面上，人群和汽车川流不息地在桥面上来往，改变了昔日的那种困难情景。在20世纪80年代建造公路时，从海涂里还挖出郑霖大学士当年修桥所镇的石锁，该锁已被车家村收藏。