司马光虽然和王安石有过两次分歧，但他对王安石的为人还是很尊重的。在变法之初，有人弹劾王安石，他还劝止：“未见其不善之迹，遽论之不可。”（《邵氏闻见录》卷十）
王安石任参知政事后，首先设立主持变法的新机构制置三司条例司，与知枢密院事陈升之同领其事，开始实施新法。当年七月首颁均输法，要求在为朝廷购置物品时，以“徙贵就贱，用近易远”的原则，以“便转输，省劳费”，“去重敛，宽农民”，来减少国家开支，减轻人民的负担，同时限制商人的投机倒把。然而执行起来却存在着各种的问题，如情报不灵通，产品状况不明等。一些官员上疏反对变法，神宗对反对意见根本不予理睬。司马光这时还没有发表反对的意见。九月间颁布了“青苗法”，其旨在于青黄不接的时候，由政府以低息贷款给农民，防止高利贷的乘机盘剥。司马光表示了明确的反对意见。他认为县官以权柄放钱收息，比平民放高利贷危害更大。在未颁此法时，而有司尚能危害百姓，更何况立法以许之呢！为此他还和王安石最信任倚重的吕惠卿，在神宗的面前进行辩论。司马光从反对青苗法到反对设立制置三司条例司，到反对整个的变法运动；对王安石所重用的人，尤其是对吕惠卿非常反感。曾上言神宗说他虽有才学，但“用心不正”，是“真奸邪”。
朝廷中支持司马光反对变法的大有人在。如富弼、欧阳修、苏辙、苏轼兄弟等。这其间，王安石顶着反对变法的浪潮，继续推行新法。为了新法的实施，不得不把一些反对变法的人贬到地方上去任职。十一月份，又颁布了农田水利法，影响更扩大了。
熙宁三年（1070年）春，出任河北安抚使的原三朝宰相韩琦，上疏反映了青苗法实施的情况。一是农村有钱之家也多多借钱付息，与最初抑兼并、济困乏之意“绝相违戾”；二是贫民借贷“请则甚易，至纳时甚难”。到期交不出本息，必然会“行刑督责”，并产生强迫户长及保人“均赔之患”；三是青苗钱随夏秋两税交纳，遇有灾荒，则官本钱失陷，必再无本钱接续支贷。神宗见到这种情况，心中产生疑虑。他把韩琦奏疏给大臣们传阅。虽然王安石对韩琦的意见予以驳斥，但神宗的变法决心却动摇了，这对王安石是一个不小的打击，他便“称病不出”。这时神宗又要下令取消青苗法，王安石便上书辞职。神宗为挽留王安石，命司马光起草《赐参知政事王安石不允断来章批答》的诏书。批答中虽有赞扬的话，但却说了新法推行后“士夫沸腾，黎民骚动”的话。王安石认为与事实不符，上章抗辩。神宗感到新法刚刚实施，主将就打退堂鼓，那变法大计“将以诿谁”？国家将如何治理？于是不得不自为手诏，向王安石赔情，讲自己对批诏“失于详阅，今览之，甚愧”（《司马温公年谱》卷二）！几天后，又召见王安石表示不再怀疑青苗法。王安石又出来主持变法了。他亲自草拟了一篇反驳韩琦的奏章，神宗同意后，以条例司的名义“颁之天下”，给反对派以回击。
神宗对司马光一直很器重，希望他也能辅佐自己挽救危机，重振国家。他早想授予司马光一个执掌实权的官职，并征求过王安石的意见。王安石认为司马光虽能直言极谏，但不能协助改革大政，如若重用，“是为异论者立赤帜也”（《宋史纪事本末·王安石变法》卷三七）。在王安石称病不出时，神宗任命司马光为枢密副使。这是“内训六师，外抚四海”，“系国安危”的重臣。然司马光却坚辞不就，不到10几天内，就连上5道札子陈述自己的理由。除了说自己“不通时务”，“不习军旅”之外，那就是反对变法。他建议废除置制三司条例司，取消新法。他以为新增机构是“以冗增冗”，“以苛益苛”；散发青苗钱使“贫者既尽，富者亦贫”，“帑藏又空”。如再行募役法、农田水利法，使“生民必无休息之期”等等。神宗没有接受他的建议，并派人传旨说，枢密院是管理军事，不应该上言与本职无关的事，即叫他不要管变法的事。司马光却说，既然所言无可采，那还有什么颜面担任此重任；另外自己还没有接受枢密副使的敕命，仍旧是侍从之臣，对朝廷的缺失没有什么不可以说的，所以上书批评变法，不算侵犯其他官员的职权。过了一些日子，司马光的腿疾好了，又当面向神宗力辞枢密副使，并与神宗进行了争论，最后终于辞掉了。
司马光认识到，神宗对王安石的器重与信任超过对其它的大臣，要取消新法不能光说服神宗，而是必须要先说服王安石。于是从二月份开始，连续给王安石写了三封信，以朋友的身份，直言恳切地谈了自己对新法看法。他对王安石说：你“独负天下大名三十余年，才高而学富”，大家都认为，你一出山，太平便可立就。可执政只一年来，就引来朝野“莫不非议”，“诋毁无所不至”。恐你还不知道这种情况，一意孤行，自己身败名裂不说，还毁了朝廷，所以才以实相告。司马光又说王安石违背了古圣贤治国的经验，剥夺三司的职权，更立新机构，又派使者4O多人去各地推行新法，他们骚扰百姓，不把州县放在眼里，这是侵官乱政。他还指责王安石不该“自以为我之所见，天下莫能及”，从谏纳善，不仅人君应如此，人臣也要接受不同意见。他责问王安石为什么违背了自己所特好的孟子和老子之道，而大讲财利，使上至朝廷，下及田野，京师内外，“无一人得袭故而守常者，纷纷扰扰，莫安其居”。他劝王安石“改过从善”，罢除条例司，追还常平使，一切“皆复其旧”。（《传家集·与王介甫书》）
王安石读了司马光的来信，便写了简明的回信，这便是著名的《答司马谏议书》。他对司马光的批评指责逐条予以批驳。他说：“今君实所以见教者，以为侵官、生事、征利。拒谏，以致天下怨谤也。某则以谓受命于人主，议法度而修之于朝廷，以授之于有司，不为侵官；举先王之政，以兴利除弊，不为生事；为天下理财，不为征利；辟邪说，难壬人不为拒谏。至于怨谤之多，则固前知其如此也。人习于苟且非一日，士大夫多以不恤国事。同俗自媚于众为善，上乃欲变此，而某不量敌之众寡，欲出力助上以抗之，则众何为而不汹汹然？盘庚之迁，胥怨者民也，非特朝廷士大夫而已。”最后王安石针对司马光要他“改过从善”，“皆复其旧”而明确回答：“如君实责我以在位久，未能助上大有为，以膏泽斯民，则某知罪矣；如曰今日当一切不事事，守前所为而已，则非某所敢知。”
两人各自坚持自己的见解，已经是互不能说服对方了。自此，司马光只是宣扬自己的主张，激烈地反对新法。变法与反变法，势同水火。此时，反对派纷纷调离京城，而王安石为了保证变法的顺利进行，也陆续将不同政见的大臣，贬出京师。司马光感到京师难以安身，也请求外任。神宗试图挽留，使之与王安石和解，然而司马光“求去益力”。神宗看到裂痕难以愈合，于九月下诏任司马光以端明殿学士知永兴军。永兴军治所长安，是一个大地方。司马光本想自安于散地，想不到朝廷却“委以名都”。他到任后极力抵制新法，按自己的主张行事。他临来时，曾请求神宗免去永兴军的青苗兔役钱，不要让陕西的义勇戍边和刺充正兵，都未被允准。
司马光的好友范镇始终和他站在同一立场上，多次上疏反对变法。并表示不用臣言，愿致仕还乡。最后一次上疏直言王安石“进拒谏之计”，“用残民之术”（《宋史纪事本末·王安石变法》）。这时王安石已经拜相了，他对范镇的话极为恼怒，亲自起草制书，允许范镇致仕，实际上就是罢官了。司马光得知此事后，再无心任事，也上书要求任一闲职。熙宁四年（1071年），司马光被任命为西京留司御史台，这只是在祭祀典中纠察不遵仪式的官员，别无他事。此后开始了他西京洛阳一心著史的生涯。
五全心撰史
司马光自幼读书，最喜欢读的是史书。他说：“独于前史粗尝尽心，自幼至老，嗜之不厌。”年轻时他曾读过一本唐人高峻撰的《高氏小史》，给他留下了较深刻的印象。进入仕途后，有机会接触国家藏书，学到了更多的历史知识，并写了许多史学论文，在史学研究的领域中，造诣已经很深了。
在治史的过程中，司马光发现在《春秋》之后，从《史记》到《五代史》的十七史，卷帙浩繁，一个人穷其一生精力，也难“毕其篇第”和“举其大略”。同时社会上出现了“厌烦趋易”的倾向，如果继续下去，许多烦富的典籍“行将灭绝”。于是司马光便产生了网罗众说，编一部简明的通史的想法。他曾对刘恕说过：“予欲托始于周威烈王命韩、赵、魏为诸侯，下迄五代，因丘明编年之体，仿荀悦简要之文，成一家之书。”（刘恕：《通鉴外纪后序》）他对所编史书的断限、体例、取材，乃至文字的要求，都已考虑好了。起初他著史的目的，还是为“诸生”着想。自嘉祐六年到治平三年，他任修起居注、谏官和龙图阁直学士，成为皇帝的侍从之臣，其职责是为皇帝出谋献策。他清楚地知道：“治乱之原，古今同体，载在方册”，历史的经验必需借鉴，人君要治邦安国，“不可以不观史”。于是他要编一部简明通史的目的，由为读书人方便而转之为天子资治为主了。正如他后来在《资治通鉴》进书表中所说：“每患迁、固以来，文字繁多，自布衣之士，读之不遍，况于人主，日有万机，何暇周览！臣常不自揆，欲删削冗长，举撮机要，专取关国家兴衰，系生民休戚，善可为法，恶可为戒者，为编年一书。”
司马光最先编写的是《历年图》（又称《累代历年》），时间是在嘉祐、治平间。共有5卷，记事从周威烈王二十三年（公元前403年）起，迄后周世宗显德六年（959年）。每年略举大事，历代皆有评论，并集国家兴衰大迹为5图，后来收到《稽古录》中，它可以说是《资治通鉴》的编写提纲、雏形。
不久，司马光又用了两年的时间，编写了《通志》8卷。主要取材于《史记人兼采它书，仿《左传》体例，从周威烈王二十三年三家分晋写到秦二世三年（公元前207年）秦的灭亡，于治平三年（1066年）正月呈上。英宗读过之后，十分欣赏。四月，诏命司马光编写历代君臣事迹，不用另起“炉灶”，接续《通志》往下编写，待书成之后另赐书名。并同意司马光设立书局，自选助手协助编修。司马光接到任务十分高兴，使“夙昔所愿，一朝获伸，踊跃奉承”，其积极性是可想而知的了，同时使司马光“私家力薄，无由可成”的局面得以改变，从而保证修史的人力、物力、财力等必需的条件。这就开始了由神宗所赐名为《资治通鉴》的编写工作。
书局很快就成立了起来，设在崇文院内。司马光开始遴选助手。首先选择的是年仅35岁的刘恕。后又选刘攽、范祖禹。
刘恕（1033~1078年），字道原，筠州（今江西高安）人，少司马光13岁。自幼聪慧，读书刻苦，常常是“家人呼之食，至羹炙冷而不顾；夜则卧思古今，或不寐达旦”（《传家集·刘道原十国纪年序》）。13岁时就通读汉唐典籍，尤精于史学。《宋史·刘恕传》讲：“自太史公所记，下至周显德末，纪传之外，至私家杂说，无所不览。上下数千载间，巨微之事，如指诸掌。”18岁（皇祐元年）就考中进土。当时进土另有几十人应诏讲解经义，讲的是《春秋》、《礼记》大义。回答最好的刘恕，考官“凡二十问，所对皆然”。考官对其学问的深厚，十分惊异，取为第一。司马光就是当时的统考官，十分爱惜他的才华，开始和他有了交往。在接触中，司马光了解到他的史学造诣尤深，脑子里装满丰富的历史资料。一次两人同游洛阳万安山，见到路边有一不著名的五代将领的石碑，而刘恕却能详细地讲述他的生平事迹。司马光特别翻阅了史籍加以核对，竟然没有差错，对他就更加钦佩了。刘恕尤其见长魏晋南北朝这段历史，范祖禹说他“于魏晋以后事，尤能精详，考证前史差谬，司马公悉委而取决焉”（《范大史集·秘书丞刘君墓碣》）。所以司马光第一个选他进入书局，当时他还是一个县令。英宗接到司马光报上他的名单后，任命他为同编修，迁著作佐郎，至京城协助司马光修史。刘恕的政治观点也和司马光相一致，都反对王安石变法。他原和王安石也是好朋友，后来绝交。当司马光出知永兴军时，刘恕也奏请外任，调南康军（治所今江西星子）酒监，继续修史。可惜他只活了47岁，元丰元年病逝，7年后《资治通鉴》才全书告成。
刘攽（1023~1089），字贡父，临江新喻（今江西新余）人，少司马光4岁。庆历六年（1046年）进土。精通六经，尤邃史学，是汉史专家。在任地方官20年之后，至京任太常博士，国子监直讲。熙宁年间，判尚书考功、同知太常礼院。他稍晚于刘恕进入书局，时间不长，首尾5年，负责两汉部分的长编，初稿完成就不再管了。他也反对王安石变法，于熙宁三年（1070年）被贬判泰州，离开书局。
范祖禹（1041—1098），字淳甫，又字马光22岁。他是范镇的侄孙，因其双亲早亡，由范镇抚养成人。自幼闭门读书，不闻外界之事，司马光称赞他“智识明敏，好学能文”（《传家集·荐范祖禹状》）。嘉祐八年（1063年），范祖禹中进士，知资川（今四川资中）龙水县事。他进书局虽晚，但修史时间却最长。书局从开封迁到洛阳后，他也一直住在洛阳，默默修史，对仕途荣耀，毫不动心。直到《通鉴》修成后，由司马光推荐，被任命秘书省正字。哲宗即位后，任著作佐郎、修《神宗实录》检讨。《实录》修成后，迁官右谏议大夫、侍讲学士，在迩英阁为皇帝讲书时，“言简而当，无一长语，义理明白，粲然成文”（《宋史·范镇传》）。范祖禹精通后史，自著《唐鉴》12卷。因“深明唐史三百年治乱，学者尊之，目为唐鉴公”。范祖禹同样反对新法，多次上疏极陈新法之弊。哲宗继位，继续变法，任变法派章惇为相，范祖禹力言章惇不可用。被贬知陕州、武安军副节度使、昭州别驾等职，后又徙宾州，最后卒于化州（今广西化州）。
刘恕病死后，书局只有范祖禹一人。因工作需要人，司马光又奏请其子司马康充编修《资治通鉴》的检阅文字。司马康（1050~1090）字公休，“敏学过人，博通群书”。熙宁三年中进士，官至著作佐郎。他入书局时，年仅29岁。
整个书局的组成人员是：编集（主编）司马光，同修刘恕、刘攽、范祖禹，检阅文字司马康。这是一个老中青三结合的修史集体，它集官修与私修于一身（有官方认可、资助，但无宰相监修及朝廷派其他官员干预）。司马光是史学巨匠，负责制定义例，指导撰写，最后删削定稿。三位同修是当时第一流的史学家。他们在主编的领导下，个人负责，分工合作，各修各自所擅长那段历史的长编。刘恕是通才，尤长于魏晋南北朝及五代史，他修这两段历史的长编。他先后在书局13个年头，司马光说：“讨论编次，多出于恕。至于十国五代之际，群雄竞逐，九土分裂，传记讹谬，简编缺略，岁月交互，事迹差舛，非恕精博，它人莫能整治。”（《传家集·乞官刘恕一子札子》）刘攽修两汉史及隋前少部分历史长编。范祖禹修唐史长编，刘恕病故后，他又修其未完成的五代史的一小部分。三人“各因之所长属之，皆天下选也”（胡三省：《新注资治通鉴序》）。这样就从修史成员上保证了修史的质量。