后元二年（公元前87年），也就是司马迁完成《史记》之后的第四年，那年他59岁，那个发动了一生战争的武帝终于死了，死后被葬在了茂陵。
就在武帝死后，宫廷上上下下忙碌着皇帝后事和新帝登基的时候，司马迁一个人悄悄地离开了，没有人知道他去了哪里。那司马迁去了哪里呢？史学家认为有四种可能。
第一，司马迁可能是自杀身亡。前面曾经说过，司马迁受过宫刑之后，很多人认为他应该自杀，但司马迁说，他不是贪生怕死之人，活着就是为了完成巨著《史记》。现在，《史记》完成了，生命对于司马迁而言，已经无足轻重了，现在也是洗刷人们对他所谓贪生怕死的误解的时候了。所以，司马迁可能自杀，这一点在《报任安书》里面已经可以透露出不少信息了。任安写信给司马迁，是在下狱之前，司马迁一直没有时间给他回信，后来任安在狱中，要被汉武帝杀了的时候，司马迁才匆忙写这封信给他，而且写得那么长。任安因为受了一个案子的牵连，正羁押在牢中，而且随时可能行刑处斩，司马迁为什么对一个快要死的人，写下如此长篇、而又悲愤激昂的书信呢？他为什么要在信中反复诉说自己忍受不了腐刑之后的这种耻辱呢？他又为什么要选择这样一个时机和对象来宣告《史记》一百三十篇完成了呢？他又为什么在信中大谈“人固有一死，死有重于泰山，或轻于鸿毛”？而且在信里面说，“要死之日，然后是非乃定”。他说一个人生前你不要说我是和非，人生的是非留在身后，一个人等死后的若干年，人们才能给他论定是非，那就是说我司马迁究竟是个什么人，留待后人评价，现在你们怎么攻击我，怎么瞧不起我都可以，死后你们来看我是个什么人。我在信中把我的心情、我的想法、事实经过，都讲清楚了，所以《报任安书》也许就是一封遗书。
第二种可能，司马迁受任安这个案子的牵连，被汉武帝下令腰斩于市。当时宫廷里面有一场斗争，那么任安牵涉进去了，而当司马迁辗转托人把他的《报任安书》送到狱中以后，任安已经被腰斩了。任安腰斩以后，狱吏在抄检狱室的时候发现了司马迁的信，于是便呈奏给汉武帝，信里面是非常愤慨地表达对汉武帝的不满，那么汉武帝读罢。看到信里面那么多怨愤之词，勃然大怒，再加上有人趁机诬告司马迁和任安是同党，他们俩是好朋友嘛，于是汉武帝便下令把司马迁打入大牢，随后腰斩于市。那么这样看来，似乎是《报任安书》惹的祸，其实司马迁何以不知道《报任安书》会带来什么结果呢，司马迁并非不知道任安作为死囚犯，可能终生读不到这封信，司马迁也并非不知道这封信可能成为一封公开信，因为自己在信中所发泄的不满会招致灾祸，这些司马迁是非常清楚的。但是他不能不说，因为当他完成了《史记》这本伟大的著述以后，灾祸对于他而言已经是无足轻重了，况且他选择给一个与他患难与共的朋友写信的这种方式同时向世人公布《史记》的完成，这本身就是一种抗争，也是对朋友甚至对朋友死后的灵魂一种极大的安慰。
第三种可能司马迁再次下狱之后，随同长安狱中的罪犯，无辜地被集体处死的。这是怎么回事呢？当《报任安书》被汉武帝知道之后，汉武帝看到信中有很多怨言，于是便下诏把司马迁逮捕了，并且叫御史台论罪，就是说并没有判死罪、论罪。就在论他的罪这个期间，不久汉武帝病重，那么有巫师就给他算风水，然后巫师告诉汉武帝，说长安监狱当中有天子气冲撞了圣上，究竟是谁呢？不知道，于是汉武帝下令把狱中所有的囚犯，无论轻重一律处死。历史上记载，曾经一次把长安城的犯人全部杀了，所以司马迁就这样集体地无辜地被杀了，一代史家就这样死于非命，这是第三种可能。
第四种可能司马迁寿终正寝，其实关于司马迁是被杀，史料还不能够充分地予以证实，说司马迁是自杀，也不过是一种推测。在史料不足的情况下，我们还只能够把他看成是正常病故。
司马迁去了，在《史记》完成之后，他悄然无声地离开人世了，他以生命的终结换来了《史记》的诞生，他的死留下一个历史之谜，他的著作却树立起一块历史的丰碑。他那刻苦发愤、不屈不挠的伟大人格和崇高精神，连同花费了他一生心血的伟大著作——《史记》，也永远地留在了人间，成为中华民族宝贵的精神财富。