在整理父亲遗留资料的过程中，司马迁发现父亲对星历的研究非常透彻，认为当时所使用的历法和天体运行无法配合。
历法，是推算年、月、日的时间长度和它们之间的关系的，是制定时令序列的法则。一般地说，月、日的长短依天象来定；年的月数和日数，有依天象来定的，也有人为规定的。
当时的历法，以冬季十月为每年的正月。自周秦以来，这种叫做“颛顼（zhuan xu）历”的历法已经被人们所习惯。
这种历算把每年十月作为一年的开始。它的一个明显不足，就是每月的初一、十五总是不能跟月亮的运动完全合拍。这样。用它来计算农时很不方便，而且对历史的记载、对历史事件时间的考察，也带来了很大不便。但是，这种历法却得到皇帝的认可，认为它是符合“五德终始”之学的。
“五德”，指的是木、火、土、金、水五种物质力量。“五德终始”学说是由战国年间齐人邹衍提倡的。这种学说试图说明：历史上的改朝换代这一不断反复的现象，是由于客观世界的木、火、土、金、水五种物质力量有规律地前后替代而决定的。谁要是得了“五德”中的一德，谁就是受命天子，应该作为一个朝代的统治者。
另外，“五德终始”学说还认为，这五种力量是由上天控制的，非人力所能掌握。受命的验证，五德就是那些显示上天的意志而出现的各式各样的“符瑞”。
为了与“五德”相呼应，各个朝代要采取不同的制度。这一学派的学者解释，最早黄帝得土德，后来夏朝得木德，商朝得金德，周朝得火德。
秦始皇统一天下以后，认为既然周朝得火德，秦朝代替了周朝，得到的自然是水德。于是他采取了一套与水德相呼应的制度：以十月朔为一年的开始，衣服、旌旗、旄节等都用黑色。
汉朝得到天下之后，本应该重新改制的，可“汉王朝得的是什么德”却成了问题，汉初数十年中没有一个权威的论断。高皇帝认为自己直接替代了周朝而不是秦始皇那个王朝替代了周朝，因此，他自以为汉朝得水德，一切制度当然和秦一样无需更改，并以青年时斩蛇一事来作为依据。
据说汉高祖刘邦当年在沛县时，一次酒后见一大蛇挡道，随后将它斩杀了，后来遇到一位哭哭泣泣的老妇人，刘邦问她为何啼哭，老妇人哭道：“有人杀了我的孩子啊！”刘邦乘着酒兴，拍着胸脯说：“谁杀的？我去给你报仇！”老妇人摇摇头，“你替我报不了仇。我的孩子是白帝子，今天变成了蛇，躺在路上，被赤帝子杀了，此仇无法报啊，所以我只有哭泣。”刘邦一听，暗吃一惊，将这件事记在了心里。秦亡汉兴后，刘邦想，白帝子、赤帝子想必都是可以变化成蛇的，既然如此，汉朝与秦朝同兴一德又有什么不对呢？加之汉朝初立，许多事情需要处理，汉初基本上就承袭了秦朝有关水德的说法。
文帝即位之初，太中大夫贾谊认为，汉兴二十余年，应改制度，他按照土德的体系，提出一套改制方案来。但是当时贾谊还年轻，在朝中的地位也不稳，所以不久就被元老们排挤，流放到长沙去了，他的改制计划当然也随之流产。
后来鲁人公孙臣上书，也以为秦得水德，汉当得土德。他主张汉应按土德改制。但当时丞相张苍坚持汉仍是水德，公孙臣的建议同样遭到反对而没有实施。
过了一年。据说黄龙出现于成纪（今甘肃秦安县北），于是文帝确信汉为土德，召公孙臣为博士，并命公孙臣草拟改制计划。不过文帝自己后来并没有施行。
司马迁花了三四年的工夫，终于把有关星历的知识弄清楚了。他用自己掌握的星历知识，跟当时的一些星历专家一起进行探讨。最后认为，当时所使用的历法是不科学的。于是他们决定向武帝建议，更改历法。
司马迁认为，当今圣上具有雄才大略，更新历法正如平定四方一样，也是一件大事情。以前武帝军务繁忙，根本无暇顾及改制之事，于是，才成为今天这个样子。如今天下已定，圣上雄心勃勃，前几年又在泰山举行天子的“封禅”典礼，那么改革历法应当是顺理成章的。他认为，改历对于政治、经济和人民的生活都是一件有益的事情，只要积极争取，陈述道理，一定能得到皇上的重视和支持。
就像事先预想到的那样，修改历法的建议得到了朝中一些保守大臣的反对。但博士公孙臣、太中大夫公孙卿、壶遂等人极力支持改历。
汉武帝经过一番考虑，下令由太史令司马迁、太中大夫壶遂等负责修改历法。壶遂是司马迁做郎中时的同事和好朋友，素来爱好钻研天文历法。这次共事，他们感到很高兴。
司马迁和壶遂率领二十多位著名的星学专家，对历法进行了一番研究，制定了一部新的历法，称为《太初历》，也就是这部《太初历》，支配中国人时间观念长达两千年之久，而且现在还在沿用。
《太初历》依据天象定月、日，以正月为一年的开始。并且实行了闰年，使历法与四季相适应，更方便地配合了农业生产。它被称为阴历，即夏历。
其实，司马迁修改历法，还有另外一种想法。他自当了太史令后，就想学昔日鲁国的孔子，孔子当年有个理想，就是要行夏之时。
那时孔子向自己的学生传习《夏小正》这种历法，可惜没有实施，而如今，新历法贯彻行夏之时，以正月为岁首。这样来调整历法结构，这是对孔子“行夏之时”理想的实现。对于这一点，司马迁只是放在心里，作为自己对先哲的一种慰藉。
汉武帝看了《太初历》之后，连声叫“好”，准备采纳施行。
但想不到的是，朝廷中那些反对改历的人抓到了《太初历》的一处“破绽”：改十月为正月，作一年的头一个月，不符合“五德终始”之说。他们认为这是冒犯天规的危险之举，说不定将带来祸害，因此万万不可颁行。
司马迁是有备而来的，这个问题，司马迁早就考虑过了。面对保守派的攻击，司马迁禀告武帝：《太初历》虽然与周代以来的“五德终始”之说不相符合，但它恰恰切合先帝所传的“三统”之说。按照董仲舒先生的说法，夏朝以寅月为正月，以黑色为上色；商朝以农历十二月为正月，以白色为上色；周朝以农历十一月为正月，以赤色为上色。黑、白、赤三色交替，周而复始，改朝换代。
秦朝立国，采用黑色为上色，先帝认为，汉人舍弃秦朝而建汉朝，是汉朝直接继承了周朝，因此定黑色为上色，以十月为正月，是非常正常的。
原来《太初历》是有章可循的，汉武帝听了司马迁的陈述，龙颜大悦，下令颁行，朝中的那些反对派也都说不出什么了。
汉武帝把颁行《太初历》这一年改元为太初元年（公元前104年）。
《太初历》对以农业为主的中国来说，是巨大的贡献。它也是我国保存下来的第一部完整的古代历法，是巨大的科学成就。