元封三年（公元前108年），即司马谈逝世后的第三年，果然如司马谈所言，武帝正式任命38岁的司马迁继任太史令。这也实现了他父亲生前的遗愿。
太史令在西汉时与州刺史、县令等是一个级别的，享受六百石的官俸，实际月俸70斛。
在西汉王朝庞大的官府机构中，太史令的职位自然是很低的了，名义上相比郎中是有所提升，实际上等于从皇帝的近臣降到了普通下级官员的位置，反而是不如郎中的，但司马迁已经很满足了。
他觉得自己能担任太史令，一方面是父亲的缘故（父亲也曾是太史令），另一方面，则是由于汉武帝对自己的信任。不是吗？太史令官职虽小，但也不是说谁想当就能当的，除了记录史实，整理古代文献古籍外，太史令还负责阴阳吉凶的占卜、天文星象的观测，这可不是一个普通人能胜任得了的。
司马迁受父亲的影响，对这一切知识早就烂熟于心了，可以说他在成为史官之前，就已经是一名合格的史官了。所以司马迁就以极大的热情来对待自己的工作，整天顾不得家庭，谢绝亲朋好友的拜访，一心扑在工作上，只期望能让皇上高兴。同时，他开始在“金匮（kui）石室”（即国家档案馆）孜孜不倦地阅读皇家藏书，研究整理各种史料。
这时候，武帝对自己的成就真是志得意满。南越和西南各个小国，都已经纳入汉朝的版图，又灭了朝鲜，同时也破了西域的楼兰、车师两国，从此汉朝便可以和西方以及更远的外国通商了。
司马迁当了太史令之后，仍然像当郎中时一样，经常跟从汉武帝到各地巡狩、封禅。
从元封四年到元封六年，司马迁就随武帝先后北巡两次、南巡一次。
从二十壮游到在朝廷为官，多次跟随皇帝四处巡幸，司马迁的足迹几乎踏遍了汉朝疆域内的山山水水，到达过东南、西南、中原和西北等地区，他广泛接触了各阶层的人们，了解了他们的现实生活，实地考察收集到许多文献中所没有的资料。
通过这些实践活动，丰富了司马迁的历史知识和生活经验，开阔了胸襟和眼界，培育了他热爱祖国的思想感情；这对他后来著《史记》有着极其重要的意义。
同时，司马迁积极地努力继承父亲的工作。他抱定决心，要付出比父亲多上十倍的努力，完成父亲临终托付给他的使命。