中国自古就有“三山五岳”的说法。所谓“三山”，指的是“神仙”居住的地方。《史记·秦始皇本纪》写道：“齐人徐芾等上书，言海中有三神山，名曰蓬莱、方丈、瀛洲。”从此以后三神山的名字，便在古代小说、戏曲、笔记中经常出现，然而它只是传说，现实中不存在。也有人说，三山指的是安徽黄山、江西庐山、浙江雁荡山。
“五岳”则是我国五大名山的总称，即东岳泰山、西岳华山、北岳恒山、中岳嵩山、南岳衡山。它们是封建帝王封禅祭祀的地方，更是封建帝王受命于天，定鼎中原的象征。
古代封建帝王把五岳看成是神的象征。尧时分掌四方外事的部落首领就叫“岳”。当天子巡狩时，各主管方岳的官吏就在驻地选择一座高山，放火发出信号，以召集诸侯。于是，最早的几座发信号的山便成了岳官的首府。后来把主管方岳的官吏与岳官驻地的大山名称统一起来，便出现了代表四方大山的“四岳”。
春秋产生了“五行”之说，战国时颇为流行。由于阴阳学家邹衍等人的大力宣扬，“五德终始论”越来越盛，“五岳”之说才应运而生。中国岳山名称始见于《尚书》，但只有四岳，而无五岳。后来司马迁在《史记·封禅书》中总结了五岳自五帝至秦代的演变过程：“因为夏、商、周的国都都在黄河与洛水之间，所以嵩山为中岳，其他四岳各随其方，四渎都在山东。至秦称帝，建都咸阳时则五岳、四渎均在东方。自五帝以至秦，名山大川或在诸侯，或在天子，不可胜纪。及秦并天下后，才有了明确规定：自河南省崤山以东为名山五，即嵩山、恒山、泰山、会稽、湘山；大川二，即济水和淮河。”
至汉武帝时，才正式创立五岳制度，并封安徽天柱山为南岳。汉宣帝神爵元年（公元前61），确定以泰山为东岳，华山为西岳，霍山（天柱山）为南岳，恒山为北岳，嵩山为中岳。隋文帝于开皇九年（589）诏定湖南湘江之滨的衡山为南岳，废霍山为名山。北岳恒山在汉、唐、宋时，皆在河北曲阳。至金、元、明、清诸代均建都北京，曲阳之山在京城之南，与北岳名称不符。而恒山主峰天峰岭位于山西浑源，恰在京城之北。所以，明代称浑源为北岳，但因路途遥远，祭祀仍在曲阳。