朝廷下诏录用颍邸直省四人为合门祗候，司马光说：“国初草创，时运还很艰难，所以登位之初，必用左右旧人为心腹耳目，称之为随龙，这不是平时之法。合门祗候在文臣中为馆职，怎么能让厮役充任此职。”
西戎的部将嵬名山想率横山兵众，夺取李谅祚来降宋。朝廷诏令边臣招纳嵬名山的军队，司马光上疏精深论说，以为：“嵬名山的军队，未必能制服李谅祚。幸而战胜李谅祚，也是消灭一个李谅祚，又生出一个李谅祚，对我朝有什么好处？如果他不能取胜，一定会带兵众归附我朝，不知怎么对待他，臣恐怕朝廷不只失信于李谅祚，还将失信于嵬名山。假若嵬名山保留的兵众还多，返回北方不行，进入南方又不受，途穷无归宿，一定会冲击占据边城以此解救兵众的性命。陛下没见到侯景的故事吗？”神宗不听，派将官种谔发兵迎接嵬名山，夺取绥州，消耗军费60万，用兵于西部，大概自此开始。
百官上尊号，正当司马光回答诏问，他说：“先帝亲自举行郊祀，不接受尊号。晚年有进献议论的人，说国家和契丹往来通信，他有尊号而我们没有，于是才以特别时期奉册。从前匈奴冒顿自称‘天地所生日月所置匈奴大单于’，没听说汉文帝也选大名加在自己身上。希望追述先帝的本意，不要接受此名。”神宗特别高兴，手诏褒奖司马光，让他缮写答辞，颁示朝廷内外。
执政因河朔旱灾，国家支用不足，请求举行南郊礼不要赐金帛。朝廷诏令学士议论，司马光和王珪、王安石同见神宗，司马光说：“救灾节用，应当从有权势的人做起，可以按执政的意见办。”王安石说：“常衮不用政事堂的公膳，当时人认为常衮既自知无能，就应当辞官位不应当辞奉禄。何况国用不足，不是现实紧急的事务，所以不足，是因为没有得到善于理财的人。”司马光说：“善理财的人，不过是最会苛敛民财而已。”王安石说：“不然，善理财的人，不增加赋税而国用充足。”司马光说：“天下怎有这样的道理？天地所生产的财货众物，不在百姓手中，就在官府的库中，他另想办法掠夺百姓，那危害就比加赋更严重。这大概就是桑弘羊欺骗汉武帝的话，太史公记载此事用以说明他的不明智。”两人争议不停。神宗说：“朕的意见与司马光相同，然而姑且以不允许答复执政。”
王安石掌朝政，推行新法，司马光上书条陈新法的利害。在迩英殿进读，读到曹参代萧何为相的事，神宗说：“汉代常守萧何之法不变，行吗？”司马光回答说：“岂只汉朝，让夏、商、周三代的君主常守禹、汤、文、武之法，虽然时至今日还可以沿袭存在。汉武帝把汉高祖法制拿来乱改，天下一半是盗贼；汉元帝改汉宣帝的政治，汉朝大业就衰败。由此说来，祖宗之法不能变。”吕惠卿说：“先王的法规，有一年一变的，‘正月开始和煦，在宫阙公布法规’就是这种；有五年一变的，天子巡守考察就是这种；有三十年一变的，‘刑罚三十年轻三十年重’就是这种。司马光的话不对，他的意思在于讽谕朝廷。”神宗问司马光，司马光说：“在宫阙公布法规，是颁布旧法。诸侯中变易礼乐的人，待天子巡守时就被诛杀，不能自行改变。治理新建国家用轻法，动乱的国家用重法，这是所说的三十年轻三十年重，不是法变。况且治理天下譬如居室，敝坏就修理它，不破得厉害不重新建造。公卿侍从都在这里，希望陛下问问他们。三司使掌管天下财政，因没有才能而黜免是可以的，不能让执政侵扰他们的事务。现在设制置三司条例司，为什么？宰相以儒道辅佐人主，为什么要用例？假若用例，则是办具体事宜的小吏的事。现在设看详中书条例司，为什么？”吕惠卿不能回答，就用其他的话诋毁司马光。神宗说：“互相议论是非，何必到此地步。”司马光说：“平民把钱借出生利息，还能蚕食贫户，何况官府督责的威势呢？”吕惠卿说：“青苗法，愿意要的则给他，不愿意要的也不勉强。”司马光说：“愚钝的百姓只知借债的好处，不知还债的害处，不只官府不勉强，富户也不勉强。从前太宗平定河东，建立和籴法，当时一斗米十钱，百姓乐于与官府交易。以后物价贵了，然而和籴法不解除，于是成了河东世世代代的忧患。臣恐怕日后的青苗法，也像这种情况。”神宗问：“用坐仓形式买米入官怎么样？”坐着的人都起来了，司马光说：“不合适。”吕惠卿说：“买米百万斛，就省去东南的漕运，东南用钱供给京师。”司马光说：“东南钱少而粒米狼藉，现在不籴东南的米而要东南的漕运钱、这是舍东南的有余，取东南的缺无，农业商业都困苦。”侍讲吴申站起来说：“司马光的话，是最深刻的言论。”
几天后，留下来应对，神宗说；“目前天下动荡不安的情况，是孙叔敖所说的朝廷中有人认为对的，却是众人所憎恶的。”司马光说：“是的。陛下应当论证它的是非。现在条例司所做的事，只有王安石、韩绛、吕惠卿认为是对的，陛下怎么能只和这三人共同治理天下呢？”神宗想任用司马光，询问王安石，王安石说：“司马光外借直言谏上的名声，内隐曲意附下的实情。所说的话有害政事，所交往的人有害政事，还想将他安排在左右，让他参与国事的议定，这是关键。司马光的才能哪能破坏政事，但身在高位，则持异论的人就倚重他。韩信树汉赤旗，灭了赵兵的士气，现在任用司马光，就是给持异论的人树旗。”
王安石因韩琦上疏，要求引退。神宗就拜司马光为枢密副使，司马光推辞这个职务说：“陛下所以用臣，大概看到臣疏狂直率，或许对国家有补益。如果只以富贵高位使其荣耀，却不采用他的意见，这是以天官偏授与不当的人。臣只以富贵和高位自以荣，而不能解救百姓的忧患，这是盗名器以求私利。陛下真的能罢制置条例司，朝廷追回授与的提举官，不施行青苗、助役等法，虽然不任用臣，臣也感到受恩赐很多了。现在说青苗法危害的人，不过说使者骚扰地方州县，是眼前的祸患。而臣所忧患的，则在10年以后，不是现在。百姓的贫富，是因勤懒而不同，懒惰的人常常生活困乏，所以一定依赖于他人，现在官府出钱借给百姓而收利息，富人不愿借钱，使者以多借出钱为有功，就一切强行摊派。恐怕百姓拖欠税款，一定命令富人穷人互相担保，穷人无钱可还，就逃散到四方；富人不能走，一定督使他们代还数家的欠款。春季予算，秋季结帐，展转时日，欠债一天天多起来，穷人已被刮尽，富人也变穷。10年以后，百姓没有再能生存的了。又把常平的钱谷都用来推行青苗法，以后如果想恢复常平，将如何取得钱谷，富人已经穷了，常平也废弛了，加上战争，遇到灾害的百姓中的弱者必定死填沟壑，而壮者一定聚众做盗贼，这种情况是一定要出现的。”直言上疏达七八次，神宗派人对他说：“枢密是掌兵事的，官各有各的职守，不应该上疏议论本职以外的事。”司马光回答说：“臣还未接受任命，就还是侍从，对于政事没有不能议论的。”王安石开始治理朝事，司马光辞枢密副使的请求就被准许，于是请求离开，以端明殿学士知永兴军。宣抚使下令分义勇兵戍边，选拔诸军的骁勇兵士，招募市井无赖青年做奇兵；调集百姓制做乾粮，都去修筑城池和了望高台，关辅一带人心骚动。司马光极力上言说：“官府和百姓都困穷，不能举大事，而且京兆一路都是内地郡，修治并不紧急。宣抚使的命令，都不敢听从，如果因此军事行动受到影响，臣应当负责任。”于是只有京兆一路得免。改为许州知州，催促他入京朝觐，没有前往。请求判西京御台回到洛阳，从此绝口不议论政事。而朝廷的求言诏颁下，司马光感动得落泪，想沉默而又不忍心，就又陈述六事呈上，还写信责备宰相吴充。
蔡天申为察访使，胡作威福，河南尹、转运使像对待上级官员那样恭敬地事奉他。蔡天申曾去朝谒应天院神御殿，河南府专为他设一班，表示不敢与他抗衡。司马光环顾场内，对台吏说：“带蔡寺丞归回本班。”台吏就带蔡天申立在监竹木务官富赞善之下。蔡天申困窘沮丧。
元丰五年，司马光突得语涩之病，怀疑将死，予先作好遗表放在卧室内，一旦有了情况，应当将此交与所信任的人呈给皇帝。元丰官制施行，神宗指御史大夫说：“这非司马光不可。”又要让他做东宫师傅。蔡确说：“国事刚刚安定，希望稍为晚些施行。”《资治通鉴》没完成，神宗尤其重视这部书，认为胜于荀悦的《汉纪》，多次催促使他们完稿，把颍邸旧书2400卷赐给他们。到《资治通鉴》撰成，司马光加资政殿学士。在洛阳一共居住15年，天下人认为他是真的宰相，村夫野老都号称他司马相公，妇人小孩也都知道他是君实。
神宗驾崩，司马光前往朝廷临丧，卫士远远看见他，都极恭敬地说：“这是司马相公。”所过之处，百姓拦路聚众观看，马到不能前行，说：“公不要回洛阳，留下来辅佐天子，使百姓得活。”哲宗年幼，太皇太后临朝政，派人问司马光首先应该考虑的事，司马光说：“开言路。”朝廷诏令榜示朝堂。而大臣有不高兴这种做法的人，又设六句话，说：“如果暗地里有所打算，触犯了职分的界限，或动摇机要大事的重要地位；或迎合己推行的法令；对上想侥幸晋升，对下蛊惑民俗。如果属于上述情况，定罚不赦。”太皇太后又命人将此拿给司马光看，司马光说：“这不是求谏，是拒谏。人臣除非不说，说就属这六事。”于是详尽地论述这情况，改诏令施行，因此上奏章的人数以千计。
起用司马光为陈州知府，过朝廷，留下他做门下侍郎。苏轼从登州被召回，沿道上人们相聚呼叫说：“代谢司马相公，不要离开朝廷，多多保重好使我们得活。”这时天下的百姓，伸着脖子擦亮眼睛注视着朝廷新政，而议论的人还说“三年不改更于父之道”，只粗举小事，稍稍搪塞人们的议论。司马光说：“先帝的法规，那些好的虽然已过百世也不能变。像王安石、吕惠卿所建立的法规，是天下的祸害，改变它应当救像大火拯溺水。何况太皇太后以母改子道，不是子改父道。”众人的议论开始平定。于是罢免保甲团教，不再设置保马，废除市易法，所储蓄的物资都予出卖，不收利息，减除百姓所欠钱款：京东铁钱和茶盐的有关法规，都恢复旧法。有人对司马光说：“熙宁、元丰间的旧臣，多是谄媚弄巧的人，以后有人用父子情义离间皇上，就会生成大祸。”司马光严肃地说：“上天如果赐福于宗庙社稷，一定不会有这种事。”于是天下人的顾虑解除了，说：“这是先帝的本意。”
元佑元年，司马光再次患病，朝廷诏令司马光上朝面君，只须两拜。当时青苗、免役、将官等法还存在，而且有关西戎的议论尚未决断。司马光感叹说：“四方忧患未除，我死不暝目啊。”写便简给吕公著说：“我把身体托付给医生，把家事交给儿子，只有国事没有可托之人，现在把国事嘱托于你。”于是论述免役法的五种害处，请求直接颁降敕令罢免役法。各将兵都隶属于州县，军事委托给太守、县令通盘考虑决断。废除提举常平司，把这官署的事归到转运、提点刑狱。边防计事以和戎为宗旨便通。说监司新进很多年轻人，他们热衷于苛责、急峻，让近臣在郡守中选举，而在通判中选举转运判官。又设十科荐士法。朝廷均予以采纳。
拜司马光左仆射兼门下侍郎，不必朝觐，允许乘轿子，三天到一次省。司马光不敢当，说：“不面见君王，不能治理政事。”朝廷诏令他的儿子司马康搀扶着他入朝策对，并且说：“不要拜。”于是停青苗钱，恢复常平粜籴法。两宫虚心地听取司马光的建议。辽、西夏使者来，一定问候司马光的起居安好，敕令他们的边境官吏说：“中国以司马光为宰相，不要轻率地惹事。”司马光看到朝廷对自己言听计从，想以身殉国，亲自处理各种政务，不分昼夜。宾客见他身体瘦弱，就拿诸葛亮因少进食多劳累而死的事劝戒他，司马光说：“死与生都是命运。”为此愈加尽力。病重，不再能自制，有气无力地像在说梦话，然而说的都是朝廷天下事。
是年九月司马光去世，享年68岁。太皇太后听到凶信悲痛不已，和哲宗前往哭临其丧，明堂礼举行，但不祝贺，赠太师、温国公，赠给一品礼服，银绢7000以助丧事。朝廷诏令户部侍郎赵瞻、内侍省押班冯宗道护送司马光的灵柩，回到陕州安葬。谥号为文正，赐碑为《忠清粹德》。京城的人们罢市前往吊唁，为了祭奠卖衣服，灵车经过整个街巷都在哭。到安葬的时候，哭的人像哭自己的亲人。岭南封州的父老，也相继供置蔡奠，城中和四野都画了司马光的像用以祭祀，饭前必先祀祭他。
司马光孝友忠信，恭俭正直，居处有规矩，行动有礼仪。在洛阳时，每次到夏县省视先人坟墓，一定去探望他的哥哥司马旦，司马旦年近80，司马光侍奉他像严父，照顾他如婴儿。司马光从小到老，说话从不乱言，自己说：“我没有超人的地方，只是平生所做的事，还没有不能对别人说的事。”诚心出于自然，天下恭敬信任，陕、洛之间都用司马光的道德施行教化，遇有不好的人和事，就说：“君实能不知道这事吗？”
司马光淡薄财物，没有什么爱好，而对学问则是无所不通，只是不喜好佛、道，他说：“佛、道的微言大旨不能出现在我的书里，因它怪诞我不相信。”司马光在洛中有三顷田，妻子去世，卖了田安葬妻子，穿粗衣吃薄食一直到去世。
绍圣初年，御史周秩首先议论司马光诬谤先帝，将其法规全部废除。章惇、蔡卞请求掘墓辟棺，哲宗不准许，就下令除掉封赠和谥号，放倒为司马光立的碑。然而章惇还不断上奏言司马光的罪行，于是追贬司马光为清远节度副使，又贬崖州同户参军。徽宗即位，恢复司马光为太子太保。蔡京专檀朝权，又降司马光为正议大夫，蔡京撰《奸党碑》，下令各郡国把《奸党碑》刻在石碑上。长安石工安民应当去刻碑，他推辞说：“民是笨人，本来不知道立碑的意义。但像司马相公这样的人，全国都称赞他正直，现在说他奸邪，民不忍心刻这样的碑。”府官发怒，想给他加上罪名，他哭着说：“该我服役不敢推辞，请求免去在石碑末刻安民二字。我恐怕得罪于后代。”闻者感到惭愧。
靖康元年，恢复司马光的封赠和谥号。建炎年间，附祭于哲宗庙庭。