秦始皇几分留恋、几分遗恨地离开琅琊台，车驾沿黄海海滨的驰道，奔西南而行，到达东海郡的郡治郯（今山东郯城西）。在郯城稍事休息后，启程抵达彭城（今江苏徐州市）。在彭城，秦始皇闻听象征着周天子权力的周鼎沉没于泗水之中，很想得到这国宝，使秦之代周更为合乎天意，便下令千人入泗水寻找周鼎，结果是毫无所得。于是，秦始皇心情不快地南下渡过淮水，到达长江中游的衡山郡郡治邾（今湖北黄岗南）、南郡郡治郢（今湖北江陵）。
秦始皇带领文武官员及随行人员，乘大船沿长江顺流而下，取道湘山祠（今湖南岳阳县西），想要登临南岳衡山（今湖南衡山县西，海拔1290米）。然而，船队在湘山祠江面遇到大风浪，几乎船翻人亡，不得渡江。登岸后，秦始皇问随行的博士说：
“湘君是何方之神？”
博士回答说：
“听说湘君原是尧的女儿，舜的妻子，死后葬于此地，后人尊湘君为神，立湘山祠。”
秦始皇正为渡江遇风险而发怒，听博士说什么湘君神，更是恼上加怒，以为是湘君同自己过不去。既已登岸，惊魂已定，作为功过三皇五帝的皇帝，秦始皇还怕什么？他怎能受什么湘君神的气！为与湘君神比试高低，秦始皇于大怒之下，使令三千名刑徒将湘山上的树全部砍伐，使湘山成为一座秃山。
面对着秃山，秦始皇出了这口气，以为战胜了湘水女神。同时，秦始皇将使他得以登岸脱险的洞庭山，（又名湘山，在洞庭湖中）命名为君山。
秦始皇的这次南巡，本想登临衡山。可是自到达彭城后，派千人入泗水寻周鼎而不得；湘山祠遇风险又险些落水，一路并不顺利。因此，巡游的兴致没有了，游途中的疲劳也袭来了，发怒伐树正是他这种心情的集中表现。于是他取消了继续南行登临衡山的预定汁划，命车驾取道回都城咸阳。
秦始皇取道南郡治所郢（今湖北江陵），路经安陆（今湖北安陆），由安陆入今河南省境，由河南经商南、武关进入陕南。从湖北回咸阳，经武关、商县、蓝田，这是一条捷径。秦始皇由河南西南的豫鄂边境返回咸阳的捷径，谁知12年过后，刘邦正是由这条路线率义军经武关到达咸阳附近的灞水，秦王子婴向刘邦投降。
秦始皇的第一次东巡、南巡，就这样结束了。