元鼎四年（公元前113年），武帝派遣安国少季等人出使南越，要南越王赵兴和太后樱氏入朝。南越自秦以来，虽自称为王，但一直服从汉朝。
当时南越的王太后樱氏，她到南越之前，曾经和安国少季相好，两人是情人。这次安国少季出使南越，两人已经熄灭的情火又重新燃了起来，暗地里相好。这件事很快被国人知晓，王太后出了这种丑事，声名狼藉。国人不再听从她的命令。
太后樱氏恐怕这样下去会出什么乱子，她想借汉朝的声威，重振自己的声望，劝南越王及其臣下内附汉朝。南越王赵兴年幼，自然听太后的。武帝得知情由，同意他们的请求，让他们准备入朝。
他们的计划遭到南越丞相吕嘉的反对。吕嘉为越人贵族，连续做了三个国王时期的丞相，势大权重。
吕嘉多次上书反对归顺汉朝，汉朝的使者来到南越，他托病不见。南越王与太后摆下酒宴，请吕嘉前来，想要借汉使臣的势力将吕嘉杀掉，吕嘉来赴宴的时候，他的弟弟率领卫兵在宫外守候。
太后本想让安国少季凭着汉朝的符节刺杀吕嘉，哪知安国少季为人懦弱，在关键时刻犹疑不决，不敢对吕嘉采取行动；吕嘉见气氛不对，急忙离宫；太后大怒，亲手持长矛刺吕嘉，却被南越王赵兴阻止。吕嘉逃回家中，称病不出。
吕嘉暗地里和大臣谋商造反。他知道南越王赵兴本来没有谋杀自己的意思，所以几个月都没有发兵；太后也没有力量灭掉吕嘉，事情就那么僵着。
汉武帝听说后，大骂安国少季无能。
经过一番考虑，武帝认为南越王赵兴与太后都已经归附汉朝，不曲派大军讨伐。他派了一支两千人的队伍，想解决吕嘉；没想到吕嘉知道后，马上率领自己的军队反汉。武帝得到情报，一怒之下，令伏波将军路博德率兵十万，前往平叛。
吕嘉的军队抵挡不住，被打得落花流水。南越已被剿灭，且兰、邛等少数民族，和其他西南夷各个小邦，吓得纷纷向汉中央表示归顺效忠。
闻得奏报，武帝转忧为喜，心情振奋。多年来一直桀骜不驯的南越国终于归入自己的版图，大汉的疆土又向南延伸了许多。
此后不久，武帝颁行对西南夷的政策，让他们保持由来已久的风俗，不收他们的赋税。
元鼎六年（公元前111年），也就是司马迁35岁的时候，武帝考虑到西南夷虽然不敢再与朝廷作对，但他们内部并不稳定，有必要派一位汉朝使者去那里安抚，劝说那里的小国归顺汉朝，想来想去，就是找不到一个口才好、学识又渊博，并且气度恢宏足以代表国家的人出使。
派哪位大臣去比较合适呢？武帝突然想起当年派司马相如当使者，取得很好的效果，现在朝中不是有个才华杰出的司马迁吗？武帝特地让司马迁谈谈对西南夷的见解。
“回陛下，”司马迁说，“西南夷诸国，均邦小力弱，不堪重击。尽管以前发生过动荡背叛的事情，实际上受到南越的影响；现在南越已经被征服，西南各个小国也会感到害怕。只是，那西南夷诸国往往言而无信，喜怒无常，其内部眼下又动荡不安，上一次我朝派出的使者被杀，至今连尸骨还不曾得还。小臣以为，陛下不动用军队，而采取派使者前去安抚的策略，实在是英明的决策啊！”
武帝任命郎中司马迁为出使西南夷的特使，带随行人员一百，出使西南。司马迁请求皇上对西南夷采取安抚政策；武帝依然采取以前的办法：因袭其旧俗，免收其赋税。
司马迁辞别家人，带着一百名随从侍卫，离开都城长安，踏上了前往西南的旅途。
司马迁一行人长途跋涉，一路辛苦，有时还要应付异常情况的发生。司马迁感到这次西南之行意义重大，能够避免残酷的战争，减轻百姓的痛苦，自己吃点苦算不了什么。
面对西南夷各邦国的君主，司马迁代表朝廷告诉他们：
如果服从朝廷，可以保证他们生活安泰；假如继续作乱，就将坚决镇压！就这样，又是劝慰，又是威吓，稳住了西南夷大片领土上的少数民族。
司马迁想起出使西域的前辈张骞，十分注意搜集沿途的地理、经济、人文方面的资料。面对祖国秀丽的山川，他常常不顾旅途劳顿，一路上进行考察工作，就像当年漫游大江南北一样，不忘到处搜集史料。路过李冰父子治水兴筑的都江堰，他在那里停留了几天，进行勘察和访问，对李冰父子的壮举和智慧充满了敬意。
走到陌生的地方，每晚休息之前，他找来当地土人老乡，询问当地的物产、民俗、文物、古迹等，并一一记载下来。
这次出使西南，花了近一年的时间，司马迁亲自了解西南各少数民族的社会状况，为加强各民族之间的联系做出了贡献。