李陵遵命带领步卒5000人，从居延向北进军，行了30多天，到达浚稽山，一面安营扎寨，一面将所经过的山川地形都画好，令部下陈步乐回去向武帝报告。武帝听陈步乐说李陵的土卒都愿效死疆场，特别高兴，连陈步乐也因此拜了郎官。
李陵不久就被3万单于骑兵所包围。李陵带领士卒在营外设阵，让前列的人都拿了朝盾，后行的人都拿了弓弩，下令道：“闻鼓声而纵，闻金声而止。”敌兵见李陵的兵并不多，便紧围上来。于是李陵命他的步兵千弩齐发，匈奴骑兵大都应弦而倒，其余的急忙抱头鼠窜，逃到山上去了。汉军乘胜追击，又杀了数千敌人。单于大惊，急调8万余骑兵围攻李陵。李陵率队且战且走，一路向南撤退。待退到山谷里时，因为连战的结果，士卒中箭受伤的人很多。李陵整编了军队，整顿了军纪，明日再战，又斩杀了3000多敌人。
李陵引兵继续向南撤退，想沿到龙城的故道回师。经过四五天的急行军，走到一个长满芦苇的沼泽地带，敌人便在上风里放起火来，李陵为自救计，也令军中放火，预先烧掉周围的草木，以免烧伤自己。接着继续南行，便到了南山下。单于早已占据了山上，命他的儿子带兵进攻李陵。汉军在树林间与匈奴骑兵展开肉搏战，又杀敌数千人。李陵又命令士卒发连弩（一种可连发数矢的弩）射击单于，单于只好下山逃走。
正当单于怀疑汉军有伏兵接应李陵，不敢再向南追赶，准备撤兵的时候，李陵部下有一个负责刺探军情的军官管敢，因为受到校尉的侮辱而怀恨在心，便投降了匈奴。他告诉单于说，李陵军并无后援，箭也快用完了，只有李陵和跟随他的校尉韩延年各率800人为前锋，分别以黄旗和白旗为标志，只要用精锐骑兵出击他们，就可立即攻破。单于听后大喜，即刻命令骑兵进攻李陵，一面攻击一面高叫：“李陵、韩延年快降！”把李陵军的退路挡住，四面围攻，李陵被困在山谷中，敌人居高临下，箭如雨下。李陵率军冒死突围，往南撤退，在汉军还没有到达鞮汗山的时候，150万枝箭早已用光了。这时还有3000多人，李陵命令士兵把军车毁掉，用车辐作武器。他们退到一处峡谷，单于追了上来，堵住了谷口，向谷中投掷石块，汉军士卒死伤更多，没法再走了。夜晚，李陵穿了便衣，单独走出营寨来。叫左右都不要跟随他，他说大丈夫应当一个人去把单于擒来。去了好久才回来，叹息说：“兵是败了，只有死了！”部下对他说：“将军威震匈奴，现在不过是时运不济罢了，以后总可以归还，像浞野侯赵破奴为敌人获，后来逃回，天子不仍是对他很好么？”李陵答道：“你叫我不死，这是不配称一个壮士的！”于是他把全部旌旗都斩断了，把所有珍贵的东西都埋在地下，叹道：“假若再多几十支箭，就一定可以突围了！现在连作战的东西也没有了，挨到天明，便恐怕只有受缚就擒了！现在不如作鸟兽散，有跑得脱的，还可以给天子报个信儿。”于是让士卒每人带上二升干饭，一片冰，设法逃跑，约会逃到遮虏障（即居延城）等待集合。待到夜半，李陵令击鼓出发，可是鼓敲不响了。李陵和韩延年都上了马，跟随的壮士仅十余人。后边追兵却有好几千。韩延年战死了，李陵看到这种情况，说：“无面目见天子。”就投降了。突围的士卒都分散逃跑，有400多人逃回了边塞。
李陵战败的地方，隔边塞不过100多里，边塞上立刻把李陵投降的消息传报到京城。武帝本来的意思是希望李陵不成功便成仁，于是把他的母亲和妻子召了来。武帝后来听说李陵投降了，便勃然大怒。先是责问日前回来报信的陈步乐，陈步乐吓得自杀了。又问其他群臣，其他群臣也吓得没有一个敢说李陵的好话的。
李陵因寡不敌众，才致全军溃败，不得已而投降匈奴的。但李广利率3万骑兵，而且也未遇到匈奴的主力，可是由于他根本不是个将才，指挥不力，被匈奴打得大败。好大喜功的武帝，面临两路出击的失败，食不甘味，情绪极坏。于是，一些阿谀苟合之徒讳言贰师将军之惨败，却诿过于李陵。对此，正直的司马迁是有看法的。所以，当武帝召问他的时候，司马迁便直言陈述了自己对李陵投降的看法。他在后来写的《报任安书》中，曾对自己当时的思想做了具体的叙述。他认为李陵“其为人自奇士，事亲孝，与土信，临财廉，取予义，分别有让，恭俭下人，常思奋不顾身以徇国家之急。其素所畜积也，仆以为有国士之风”。他还不遗余力地为李陵辩护说：
夫人臣出万死不顾一生之计，赴公家之难，斯已奇矣。今举事壹不当，而全躯保妻子之臣随而媒孽其短，仆诚私心痛之。且李陵提步卒不满五千，深践戎马之地，足历王庭，垂饵虎口，横挑强胡，印亿万之师，与单于连战十余日，所杀过当。虏救死扶伤不给，旃裘之君长咸震怖，乃悉征左右贤王，举引弓之民，一国共攻而围之。转斗千里，矢尽道穷。救兵不至，士卒死伤如积。然李陵一呼劳军，士无不起，躬流涕，沫血饮泣，张空弮，冒白刃，北首争死敌。陵未没时，使有来报，汉公卿王侯皆奉筋上寿。后数日，陵败书闻，主上为之食不甘味，听朝不怡。大臣忧惧，不知所出。仆窃不自料其卑贱，见主上惨凄怛悼，诚欲效其款款之愚。以为李陵素与士大夫绝甘分少，能得人之死力，虽古名将不过也。身虽陷败，彼观其意，且欲得其当而报汉。事已无可奈何，其所摧败，功亦足以暴于天下。（《汉书·司马迁传》）
司马迁所说的主要意思是，李陵已经给敌人以致命的打击，其所杀敌人超过自己的能力，赫赫战功足以宣示天下。此外，从他的品德、操行来看，他是在出于无奈的情况下才投降的，是为了等待机会以便将来再报答朝廷。武帝并未理解司马迁的“拳拳之忠”，反而认为他的话不仅是为李陵开脱罪责，而且疑心他是有意在贬低、讽刺这一次无功而还的李广利——武帝所爱的李夫人之兄贰师将军。因此，武帝大怒，便以诬罔主上的罪名，叛处司马迁的死刑，囚于大牢。
按照汉代法律规定，犯死罪的人可以交50万钱赎死，或以腐刑免死。司马迁的家境并不富裕，无钱赎死。他的职位不高，得不到达官贵人为他疏通。过去的一些亲朋好友深怕受连累，不愿为他去求情。他只好“独与法吏为伍，深幽囹圄之中”（《汉书·司马迁传》）。
司马迁入狱的第二年，天汉三年（公元前98年），武帝对李陵一事悔悟过来了，他说应该让李陵先出塞，以后再叫路博德去接应就好了，可免这员老将生奸弄诈。于是一面赏赐逃回的李陵部下，一面又派因杅将军公孙敖深入匈奴迎接李陵。谁料公孙敖无功而还，只捉到一个俘虏，并从俘虏口里得知，李陵在为单于练兵，准备与汉军对敌。汉武帝听到这个消息，益发怒不可遏，立刻把李陵的母亲、弟弟、妻子杀了。司马迁就是在这时受了腐刑。但俘虏的话纯属讹传，真正为单于练兵的不是李陵而是李绪，李陵无故受了一次不白之冤。
司马迁受腐刑，是奇耻大辱。沉痛地说：“太上不辱先，其次不辱身，其次不辱理色，其次不辱辞令，其次诎体受辱，其次易服受辱，其次关木索被箠楚受辱，其次鬄毛发婴金铁受辱，其次毁肌肤断支体受辱，最下腐刑极矣。”又说：“祸莫惨于欲利，悲莫痛于伤心，行莫丑于辱先，而诟莫大于官刑，刑余之人，无所比数，非一世也，所从来远矣。”复说：“夫中材之人，事有关于宦竖，莫不伤气，况慷慨之士乎？”司马迁在极度痛苦中，曾想到“引决自裁”，一死了事。但如果那样做，就“若九牛亡一毛，与蝼蚁何异？”经过生与死的激烈的思想斗争，他悟出了一个做人的深刻道理：“人固有一死，死有重于泰山，或轻于鸿毛。”（《报任安书》）想到那些成就大事业者所经历的各种磨难，他深受鼓舞地说：
古者富贵而名摩灭，不可胜记，唯椒傥非常之人称焉。盖西伯拘而演《周易》；仲尼厄而作《春秋》；屈原放逐，乃赋《离骚》；左丘失明，厥有《国语》；孙子髌脚，《兵法》修列；不韦迁蜀，世传《吕览》；韩非囚秦，《说难》、《孤愤》。《诗》三百篇，大氏贤圣发愤之所为作也。（《汉书·司马迁传》）
那些身处逆境而又有所作为的先贤们的事迹，启发了司马迁，使他鼓足了活下去的勇气。特别是当他想到了父亲的遗愿还在“草创未就”的时候，更加坚定了活下去的信念。为了完成那部“究天人之际，通古今之变，成一家之言”的第二部《春秋》——《史记》，他甚至“就极刑而无愠色”！
司马迁惨遭李陵之祸，亲自体验了世态之炎凉，目睹了社会之黑暗，这无疑会使他对人生，对社会产生了新的认识。他这段坎坷不平的人生道路，打碎他青年时代的种种美好的幻想，使他变得越来越现实，越来越成熟。
太始元年（公元前96年）六月逢大赦，司马迁在狱中度过了4个年头。他因此出狱，已40岁司马迁。出狱之后，便做了中书令。中书令是皇帝身边的重要官员，其职务是将皇帝的诏令下达至尚书，并将尚书的奏疏呈给皇帝，一切诏奏机密都要经过他的手，被一些人视为“尊宠任职”，比太史令要显赫得多。司马迁在《报任安书》中向朋友诉说了自己的难言之苦并写道：
“是以肠一日而九回，居则忽忽若有所亡，出则不知所如往。每念斯耻，汗未尝不发背沾衣也。”
残酷的刑法酿成了司马迁的悲剧，他的痛苦是常人无法理解的。心灵上的创伤总是影响着他的情绪，他常空虚恍惚，坐卧不安，一想到腐刑的耻辱，浑身出冷汗，浸湿衣服。司马迁的悲愤之情，跃然纸上。然而，个人的悲剧并未把他压倒；相反，为了父子两辈人的事业，他把个人的生死荣辱置之脑后，把悲痛发为文思，融入笔墨，以自己的血和泪继续撰写《史记》。
司马迁从太始二年到太始四年，以中书令的身份又侍从武帝巡幸各地。二年，到回中，三年，幸东海，登之罘（今山东烟台市），浮大海而还；四年，春天三月到泰山，十二月到雍，又到了西边的安定（今甘肃固原）、北地（今甘肃环县）。太始四年（公元前93年），43岁司马迁。他的朋友任安给他写信，要他“慎于接物，推贤进士”。旧话重提，引起司马迁思绪万千。他何尝不想推贤，以竭尽全力报效国家？又何尝不欲进土，以增朝廷仗义执言之人，以退“全躯保妻子之臣”？司马迁按捺不住愤懑与激动，将自己所受的耻辱、艰难的处境、悲凉的心境、完成《史记》的决心，一一向任安托出，写了《报任安书》。
“仆窃不逊，近自托于无能之辞，网罗天下放失旧闻，考之行事，稽其成败兴坏之理，凡百三十篇。亦欲以究天人之际，通古今之变，成一家之言。草创未就，运会此祸，惜其不成，是以就极刑而无愠色。仆诚已着此书，藏之名山，传之其人通邑大都，则仆偿前辱之责，虽万被戮，岂有悔哉？”
可见他（38岁）之前就极刑，130篇的《史记》已粗具规模，43岁时到了《报任安书》，还没有完成。
司马迁把征和三年（公元前见年），贰师将军李广利带兵7万，出五原，击匈奴，兵败而降。这次战役写在《匈奴列传》中，王国维认为这是《史记》中最晚出自于司马迁手笔的部分，（《太史公行年考》）根据王国维的考证，《史记》基本完成在征和三年。《史记·自序》说：
凡百三十篇，五十二万六千五百字，为《太史公书》。序略，以拾遗补蓺，成一家之言，厥协《六经》异传，整齐百家杂语，藏之名山，副在京师，俟后世圣人君子。
《史记》的篇幅、字数、书名都讲得很具体，并表明意图在“藏之名山”，以防失落，“副在京师”，希望得到传人。最后结以“余述历黄帝以来至太初而讫”。把所记述的史实起讫年代讲得很清楚，说明一部着作完成了，搁笔而踌躇满志的愉快心情溢于言表。
清人赵翼在《二十二史劄记》卷一中对司马迁写作《史记》的时间作了具体的考述，说：
“父卒三岁，迁为太史令，即石室金匮之书。为太史令五年，当太初元年，改正朔，正值孔子《春秋》五百年之期，于是论决其文。会草创未就，而遭李陵之祸。惜其不成，是以就刑而无怨。是迁为太史令，即编纂史事。五年为太初元年。则初为太史令时，乃元封二年也。元封二年至天汉二年遭李陵之祸，已十年。又《报任安书》内谓安“抱不测之罪，将迫季冬。恐卒然不讳，则仆之意终不得达，故略陈之”。安所抱子测之罪，缘戾太子以巫蛊事斩江充，使安发兵助战，安受其节而不发兵。武帝闻之，以为怀二心，故诏弃市。此书正安坐罪将死之时，则征和二年间事也。自天汉二年至征和二年，又阅八年。统计迂作《史记》，前后共十八年。况安死，迁尚未亡。必更有删订改削之功。盖书之成，凡二十余年也。”
由此可见，《史记》是司马迁毕生心血的结晶。
《史记》是我国第一部纪传体通史，它囊括中外，贯通古今，记录了上下近3000年的历史。记事始于传说中的黄帝，止于汉武帝大初年间，尤详于战国、秦、汉。全书分12本纪、10表、8书、30世家、70列传，共130篇，52．65万字。这五种不同的体例互相配合，广阔地反映了各个时代的社会历史面貌。
《史记》体大思精，是一部凝聚着司马迁父子两代人心血的不朽之作。千百年来，《史记》的内容和形式一直影响着中国的史学和文学，司马迁作为一个伟大的史学家、文学家和思想家，为历代人民所尊敬和爱戴。
司马迁46岁完成了《史记》的写作。司马迁的着述，除了《史记》、《报任安书》、《与挚崚书》外，相传还有《万岁历》一卷（一说此书系司马谈所着）、《素王妙论》一卷、《文集》二卷和《辞赋》八卷，今大都已经散轶。惟《艺文类聚》还搜集了他的一篇《悲士不遇赋》，兹录全文：
悲夫！士生之不辰，愧顾影而独存；恒克己而复礼，惧志行而无闻。谅才韪而世戾，将逮死而长勤。虽有行而不彰，徒有能而不陈。何穷达之易惑，信美恶之难分。时悠悠而荡荡，将遂屈而不伸。使公于公者，彼我同兮；私于私者，自相悲兮。天道微哉，吁嗟阔兮，人理显然，相倾夺兮。好生恶死，才之鄙也。好贵夷贱，哲之乱也。炤炤洞达，胸中豁也。昏昏罔觉，内生毒也。我之心矣，哲已能忖。我之言矣，哲已能选。没世无闻，古人惟耻。朝闻夕死。孰云其否？道顺还周，乍没乍起。无造福先，无触祸始。委之自然，终归一类。（《艺文类聚》卷三十）
至于司马迁死于何年，如何死的，因史无明载，不能确知。历代学者的考证，多是推测之辞。学者大都认为司马迁死于武帝末年。
司马迁的后代，也如他的卒年一样模糊。他儿子的名字没有留传下来，据说是因为司马迁受了腐刑，发了怨言，统治者不再任用他的子孙做史官。也有人说他有两个儿子，因无也无记载根据。
惟一可信的是司马迁有一个女儿，嫁给了杨敞。杨敞后来做到了大司农。当霍光和张安世等人决定废去皇帝，重新扶立一个新皇帝时，派人征求杨敞的意见，杨敞吓得汗流泱背，不敢答应，他的夫人急忙出来，督促丈夫立刻同意这件关系他们一家生命的计划，可见她是个有决断的女子。她生了两个儿子，即忠与恽。杨恽是一个才气横溢的文学家，颇有外祖之风。他的《报孙会宗书》简直可以说是《报任安书》的姊妹篇。他很爱读外祖的《史记》，“祖述其书，遂宣布焉”（《汉书·司马迁传》）。成为传播《史记》的第一人。他不幸的是因口祸被腰斩。