司马迁旅行回来，不久就做了郎中（官名）。这时他大约二十二三岁。
郎中是皇帝的侍从，平常没有固定的事做，但需要随时在皇帝左右听候差遣；再就是皇帝出门巡游，也要跟随着。司马迁做了郎中，他父亲当然替儿子欢喜，这是当时人们的一种做官心理。郎中虽然是小官，但接近皇帝；如果有才能，就容易被提拔。而且郎中可以参加各种活动，也可以增广见识。所以司马谈喜欢自己的儿子有这么个上进的机会。
可是年轻的司马迁却另有一种想法，他好奇，他觉得这个职务有机会看到各种事儿，并且亲身参加一些活动，对将来编写历史也有好处。他是无时无刻不想着做一个历史家啊。
他当了郎中，常跟着汉武帝到各地去。汉武帝像历来皇帝一样迷信，希望当神仙，长生不老。他要成仙，就到各处去祭神。有一次，他跑到甘肃平凉以西去祭神，司马迁也跟从着，他乘这机会观察了西北的风土人情，在那里采访了祖国传说中最早的一位皇帝——轩辕黄帝的事迹。
这时司马迁差不多把全国都游历遍了，只有西南还没去过。碰巧在他二十五岁的那年，有了到西南去的机会。原来在汉朝立国的初期，西南地区还没有服从汉朝。三十年前，汉朝曾经派兵去征讨，但没有平服，二十年前派人去劝说，也没有效。这回汉武帝又派司马迁去劝说他们归顺，司马迁去了，却马到成功。汉朝政府在西南增设了五个郡（像现在的一省），包括现在贵州北部、四川、云南等地。从此以后，汉朝完成了西南的统一。这不能不说是司马迁对祖国的一个大贡献。司马迁也考察了西南一带的风土人情，增长了不少地理知识。这些，他后来也写到书里了。
他在西南工作一年多，回到洛阳，不幸的事却发生了：他的父亲在洛阳病倒了。