光绪《宁海县志》载：“（象山港尾）海涂中突起一墩，西、东各砌石桥，相去百余步……”县志中所称的“海涂中突起一墩”，就叫“黄墩”。
黄墩，古称皇墩。关于皇墩的来历，当地流传着一个民间传说。相传北宋时，宁海上路的上金村娄家出了一个美女，后被皇帝选为皇妃娘娘。皇妃娘娘在进京时，下谕所有的随从官兵必须在村外浣衣的溪涧边挑一包黄土带进京，以寄托对家乡故土的思恋。当时一行官兵凤车龙辇、銮驾仪仗、浩浩荡荡簇拥着皇妃娘娘直奔象山港欲取水道返京。然而，等候在象山港前来接应的官船只能装载官兵，却装不下这许多黄土，皇妃娘娘无奈，遂叫随身侍女除了留下一包黄土带进京外，其余尽皆丢弃港中。从此，象山港港尾便由“皇土”堆砌成一墩突兀于港中，于是就称此墩为“皇墩”。而宁海上路当年皇妃娘娘浣衣取土的地方，就是现在的“九顷塘”。皇墩后来被改称黄墩，一是出于黄与皇谐音，二是这里聚居的胡姓氏族皆出自黄帝之后，尊黄帝为先祖，并将聚居地称为黄墩村，又将象山港尾自黄墩至强蛟岛这段水域称为黄墩港。此后，随着黄墩港一带商贸的繁荣，韩姓、章姓等姓氏的相继迁入与繁衍，黄墩村又衍生出西边村和桥头村两个自然村。由于三个自然村紧相毗连，又以黄墩胡氏为众，故将三个自然村统称为桥头胡这个地名。从此，黄墩既特指象山港尾这块滩涂小岛，又是桥头胡地名的代称。
黄墩历史上还称为是“乌龟地”。相传很早以前这块地方只能居住十三户人家，不能多也不能少。如果多出十三户，后来迁入的人家就会遭受天灾人祸，生活不得安宁。如果不足十三户，此地住户也不平静，不是邻里纠纷便是禽畜不旺，惟有凑够了十三户人家才能平安无事。黄墩之所以称“乌龟地”，还因乌龟能随潮水的涨落而沉浮。别看这地方地势不高，但在历史上几次大潮汛和洪灾中，都能经受住考验。如1956年、1988年两次强台风天文潮和“7·30”特大洪灾，黄墩港内外一片汪洋洪水，黄墩却安然无恙。人们都说黄墩这块弹丸之地是吉祥福地。
由于黄墩位于象山港尾，黄墩港与颜公河相接可抵县城，北出象山港通东海，自古以来黄墩的商贸最为繁荣，一度是桅樯林立、商贸云集的一大商埠。黄墩东、西原有的黄墩桥和虹板桥二道石桥将象山港的两岸相通。黄墩桥除了造型古朴雄壮外，桥畔又成了天然的船埠头，因此，当初的海山人一直记忆颇深、津津乐道。当年，日军侵华封锁了宁波港，黄墩就成了日伪时期的“自由”贸易港，满载着海山一带的海鲜水产品和上海的布匹百货的船只在黄墩卸货上埠，宁海县和周边地区的大米棉花、竹木柴炭和农副产品在黄墩装船出海。商贸之盛为祖居的黄墩人带来了勃勃商机，一条百余米老街上店铺林立：有协成行、源大店、三美栈、新升泰、李春芳、济生堂……六十余家“老字号”，见证了黄墩昔日的繁华。行贩担、蜊灰担、担脚担这“三根扁担”的新行当养育了黄墩一方人。十天四市的黄墩从此成为宁海北路的一大商贸重镇。