首先，先秦南和越国时期，岭南地区的海上交往为海上丝绸之路的形成奠定了基础。
早在距今6000年左右，岭南先民就已经开始利用独木舟在近海活动。距今5000～3000年期间，东江北岸近百千米的惠阳平原，就已经形成以陶瓷为纽带的贸易交往圈，并通过水路将其影响扩大到了沿海和海外岛屿。
通过对海船和出土陶器，以及有肩有段石器、铜鼓和铜钺的分布区域的研究可以得知，先秦时期的岭南先民已经穿梭于南中国海乃至南太平洋沿岸及其岛屿，其文化也间接影响到印度洋沿岸及其岛屿。
根据出土遗物以及结合古文献的研究表明：南越国已能制造25～30吨的木楼船，而且还与海外有了相当的交往。
南越国输出品主要有漆器、丝织品、陶器和青铜器等，输入品主要有古文献所列举的“珠玑、犀（牛）、玳瑁、果、布之凑。”贸易港口有番禺（今广州）和徐闻（今徐闻）。
其次，西汉中晚期和东汉记载：“自日南障塞、徐闻、合浦船行……有译长，属黄门，与应募者俱入海市明珠、璧琉璃、奇石异物，赍黄金杂缯而往……”这就说明“海上丝绸之路”兴起于汉武帝灭南越国之后。东汉时期航船已经使用风帆；大秦（罗马帝国）也已第一次由海路到达广州进行贸易；甚至中国带有官方性质的商人也到达了罗马。这标志着这条横贯亚、非、欧三大洲的海上丝绸之路的真正形成。
在汉代，随着种桑养蚕和纺织业的发展，丝织品也成为这一时期的主要输出品。乳香（薰炉）和家内奴仆（托灯俑）乃是以往输入品中所未见的。
两汉时期，版图扩张到了今东南亚的部分地区，于是政府就加强了海上丝绸之路沿海港市的管理，比如在今徐闻“置左右候官，在县南七里，积货物于此，备其所求，与交”。另外，还出现了一些比较重要的商业城市，比如番禺、徐闻、合浦（今合浦附近）、龙编（今越南河内）、布山（今贵港）、桂林（今桂林）和广信（今梧州）等等。
特别值得注意的是，岭南与内地的水路和陆路交通也由此显得更为重要，从而得到修治。
最后，魏晋南北朝时期的海上丝绸之路。
孙吴政权黄武五年（公元226年）置广州（郡治今广州市），由此加强了南方的海上贸易。据有关史料表明，东晋时期的广州已经成为海上丝绸之路的起点。对外贸易涉及的国家和地区达15个，其中不仅包括东南亚诸国，而且西到印度和欧洲的大秦。经营方式一种是中国政府派使团出访，一种是外国政府遣使来中国朝贡。丝绸成为主要的输出品。输入品有珍珠、香药、象牙、犀角、玳瑁、珊瑚、翡翠、孔雀、金银宝器、犀象、吉贝（棉布）、斑布、金刚石、琉璃、珠玑、槟榔、兜銮等。广州海上丝绸之路的发展，使得对外贸易收入成为南朝各政权的财政依赖。