再加上他实在也已厌烦朝廷上各种层出不穷的政治斗争，于是，王安石去向皇帝请辞：“疲疾不任劳剧，兼任事久，积中外怨恶多。又人情容有壅塞，暂令臣辞位，既少纾中外怨恶，又上下或有壅塞，陛下可以察知。若察知臣不为邪，异时复驱策，臣所不敢辞也。”
皇帝急了，跟王安石说：“朕与卿相知，近世以来所未有，所以为君臣者形而已，形固不足累卿；然君臣之义，固重于朋友，若朋友与卿要约，勤勤如此，卿亦宜为之少屈。朕既与卿为君臣，安得不为朕少屈？”
王安石回答：“臣荷陛下知遇，固当以死报陛下，诚以疾病。”
皇帝很伤心，说“卿所存岂愧诸葛亮？”并一再向王安石表明心迹，“朕于卿君臣之分，宁有纤毫疑贰乎？”坚持不让王安石辞职。
由此几次三番请辞与不允之间，变法差不多执行了5年。随着改革的深入，被削减触及大地主、大商人的利益越见严重，守旧势力的进攻就越见猛烈。
1074年，发生了一次大旱，又见流民。上一次，王安石来的时候，因流民而变法，而这一次，他却将因流民而罢去。
这一次大旱实在很严重，皇帝夙夜焦劳，有大臣建议他“痛自责己”，并“下诏广求直言”，以求能下雨。皇帝病急乱投医，真依言下诏。
此时，常平仓已经发挥它的功用，平抑了米价。但久不下雨，皇帝还是着急，去问王安石，王安石说“但当修人事以应之”。
但皇帝所担心的，“正为人事之未修耳”，现在“取免行钱太重，人情咨怨，至出不逊语。自近臣以至后族，无不言其害。两宫泣下忧京师乱起，以为天旱更失人心。”
此时出来一个叫郑侠的看守城门的小官，他画出了一张《流民图》，连同一篇上书，运用关系以急件直达皇帝手中。书中说：“愿陛下开仓廪，赈贫乏，取有司掊克不道之政，一切罢去。冀下召和气，上应天心，延万姓垂死之命。”还说：“旱由安石所致，去安石，天必雨。”并说如果十日不雨，“即乞斩臣宣德门外，以正欺君之罪”。宋神宗反覆观图，长吁数四，袖以入。是夕，寝不能寐。此时两个太后也哭着对皇帝说：“安石乱天下。”于是皇帝就没经王安石同意，“命开封停放免行钱”。
免行钱是王安石新法之一，宋代除向工商行户收取商税外，官府需要的物料人工，都向各行勒派，行户不胜其苦。熙宁六年改为用钱折算，有钱的出钱，有力的出力，称为“免行钱”。
皇帝又令司农寺再放常平仓粮米，暂停收交青苗钱和免役钱，暂罢方田法与保甲法。
王安石再次要求离去，既想改革又想安抚守旧势力的皇帝，以手诏谕王安石：“欲处以师傅之官，留京师。”
但王安石还是坚持要走。他跟皇帝说，“欲臣且留京师以备顾问”，我也“诚不忍离左右”，但是，经过认真考虑，我以为，陛下现在已有可接受之人，推诚委任，足以助成圣治，所以我“义难以更留京师”。不过，王安石也同时跟皇帝说，“至于异时，或赐驱策”，“所不敢辞”。
在王安石已成守旧派的众矢之的时，他的离去也许可以以退为进，为改革赢得生路。
皇上没办法，只好又赐手诏说：“继得卿奏，以义所难处，欲得便郡休息。朕深体卿意，更不欲再三邀卿之留，已降制命，除卿知江宁，庶安心休息，以适所欲。朕体卿之诚，至矣，卿宜有以报之。手札具存，无或食言，从此浩然长往也。”
熙宁七年四月，王安石罢相，“以吏部尚书、观文殿大学士，知江宁府”。宋神宗依王安石的推荐，任命韩绛、吕惠卿为正副宰相，继续变法改革。
有一些人认为，王安石是在这次罢相回江宁的途中写下那首《泊船瓜州》，“明月何时照我还”，意味着王安石忧心他何时再返政坛重新掌权。然而这种见解实在是更让王安石孤独寂寞了。
王安石在江宁只待了十个月，便再次被宋神宗召回了朝堂，实在是用谁都不如王安石。
普遍认为，王安石是在此次出江宁时写下《泊船瓜州》，这个说法比较符合王安石的心态——他再次出山，更多的是留恋后土，而不是展望前途。春草年年绿，王孙归不归？归！
王安石见到了皇帝，他拿出自己在江宁所写的诗《六年》，送给这位对他一直念念不忘的年轻皇帝：
六年湖海老侵寻，千里归来一寸心。
西望国门搔短发，九天宫阙五云深。
千里归来一寸心，两个人是君臣，却更像是英雄惜英雄，知己怜知己。连宋神宗都自言：“自古之君臣，如朕与安石相知绝少。”
王安石回到汴京才一年，他深爱的儿子王雱去世，王安石大受打击，从此更是对这片大宋的江山意兴阑珊。他来到此世间，不过蜉蝣一世，石火光中，争长兢短，几何光阴？蜗牛角上，较雌论雄，许大世界？这些功名利禄终将付与历史大潮的沉沙，唯让他觉得此间温暖的只是这一片亲情而已。
而王雱不仅是王安石的爱子，更是变法的支持者和参与者。同时，他也是王安石文学上的知音。王雱为世间留诗不多，只一曲就惊艳：“相思只在，丁香枝上，豆蔻梢头。”这么优秀的儿子去世，怎不让王安石大恸？
有一天，王安石在一段墙壁上看见儿子王雱的遗墨，悲伤地写下：
题永庆壁有雱遗墨数行
永庆招提墨数行，岁时风露每悽伤。
残骸岂久人间世？故有情钟未可忘。
王安石的身体在这次复出中更是每况愈下。有一次，“王安石以疾居家”，皇帝命“中使劳问”，“自朝至暮十七反”，一天竟派人看望了十七趟！有时皇帝还派御医来为王安石诊治，一般来说病人也要给御医出诊费，“例赠一千”。但王安石要给钱时，皇帝跟王安石说：“朕已支赐”，“不须再给”。而王安石不好意思，坚持要给，皇帝说：“如是，可少与，勿多也！”这样的君臣关系世间不多矣！
在这种情况下，王安石一再坚持要求离去，说“匹夫之志，有不可夺。”皇帝终不能留住他。
熙宁九年十月，王安石再次罢相，一个锐利的时代过去了。
皇帝想重赏王安石五十斤黄金，但被王安石回绝，他连汴京相府里一草一木都不带走，自轻装回到了江宁。
王安石离去之时，神宗正当30岁，已经是而立之年。年老体弱的王安石放手远去，将这片江山放给这年轻的皇帝去激扬指点。年轻的皇帝从此就要独立执掌变革大旗。为这个继往开来的新局面，他将自己的年号由“熙宁”改为“元丰”，这个年号一直沿用到8年后他英年早逝。
1085年三月，一代明君宋神宗“崩于福宁殿”，“年三十有八”。
王安石万万没有想到，衰老的他还活着，而携他共指点江山的那个年轻的皇帝却先死了。
听到这个消息的王安石，悲痛难抑：
神宗皇帝挽辞二首
将圣由天纵，成能与鬼谋。
聪明初四达，俊乂尽旁求。
一变前无古，三登岁有秋。
讴歌归子启，钦念禹功修。
城阙宫车转，山林隧路归。
苍梧云未远，姑射露先晞。
玉暗蛟龙蛰，金寒雁鹜飞。
老臣他日泪，湖海想遗衣。
年仅十岁的太子赵煦继位，是为宋哲宗。因皇帝年龄太小，“一应军国事，并太皇太后权同处分”。太皇太后立马启用司马光。
当王安石听到司马光掌权朝廷后，只说了句：“司马十二作相矣！”此淡然一句，仿佛那波澜壮阔的变法已经与他这个弄潮手无关。
王安石就像一个穿越而来的现代人，带着他超然于历史的眼光，如一把尖刃插入中国历史的这个节点。所以他比这个时代的人更超然，当苏东坡他们还不识庐山真面目，只缘身在此山中时，王安石已是不畏浮云遮望眼，只缘身在最高层。
他带着为1000年后妇孺皆知行之广泛的改革措施，来到了这个时代，但是对于时代来说，来得太早了。没有多少人理解他，他从这个时代黯然地离去。
之后，他的变法被司马光悉数废除。
元丰八年七月，罢保甲法。
十一月罢方田法。
十二月罢市易法，保马法。
元祐元年二月，罢青苗法。
三月，罢免役法。
沉默地看着一项一项新法被废的王安石，这一次再也忍不住愤怒，责问道：“亦罢至此乎？”“此法终不可罢，安石与先帝议之二年乃行，无不曲尽！”
至此，王安石新法被基本罢尽。但八月时，因为没有钱用，司马光又部分恢复了青苗法。
1086年，大宋元祐元年，四月初六，王安石去世，享年六十六岁。去世时，他连一篇墓志铭都没有，武则天尚留无字碑，而王安石，连碑都不留，只在墓志上简单地写下：“安石三莅江宁，卜居钟山，子姓兄弟，多著籍焉。”
这就是让大宋风云滚滚为其来的一个伟人的一生。世间争议，与我何干？！
50年后，北宋灭亡。
他曾想力挽狂澜，避免大宋覆灭的命运，但他可以逆天，却不能变天。他的努力，不过只是滚滚而逝的历史的一个插曲而已，他的演出，不过是螳臂挡车一场。
北宋灭亡后，仓皇进入南宋的惊魂未定的君主大臣纷纷把王安石这个异类定为亡国元凶。
儒家带着君子喻于义、小人喻于利的高帽来指责王安石变法的负面，法家以商鞅变法骤富暴亡的脚镣来定论王安石变法，一堆既得利益者以文革般的大字报纷纷写各种传闻诽谤王安石，甚至以佛门报应来诅咒王安石，说王安石早逝的儿子在阴曹地府受酷刑泣求王安石不要再行新法及早回头，说王安石受此咒詈，醒来后便一连十来道表章告病辞职。更有甚者，以说书的方式四处宣扬老百姓对王安石变法的愤恨。如此，他们通过著史者讲史人年复一年地记录讲论，将王安石塑造成“元凶”，将他的追随者定为“佞臣”，被牢牢地钉在历史的耻辱柱上。
梁启超，愤愤不平，在其《王安石传》里一一列举：“当熙宁新法初行，在朝议论蜂起，其事实在新法，犹为有可指数者。及夫元祐诸臣秉政，不惟新法尽变，而党祸蔓延。尤在范吕诸人初修《神宗实录》，其时《邵氏闻见录》，司马温公琐语《涑水纪闻》，魏道辅《东轩笔录》，已纷纷尽出，则皆阴挟翰墨以餍其忿好之私者为之也。又继以范冲《朱墨史》，李仁甫《长编》，凡公所致慨于往者不能讼当否，生者不得论曲直，若重为天下后世惜者。而不料公以一身当之。必使天下之恶皆归。至谓宋之亡由安石，岂不过甚哉？宋自南渡至元，中间二百余年，肆为诋毁者，已不胜其繁矣。”
真可谓黄钟毁弃，瓦釜雷鸣。
王安石生前在《上韶州张殿丞书》中说：“自三代之时，国各有史。而当时之史多世其家，往往以身死职，不负其意，盖其所传，皆可考据。后既无诸侯之史，而近世非尊爵盛位，虽雄奇激烈，道德满衍，不幸不为朝廷所称，辄不得见于史，而执笔者又杂出一时之贵人，观其在廷论议之时，人人得讲其然否，尚或以忠为邪，以异为同，诛当前而不慊，讪在后而不羞，苟以厌其忿好之心而止耳；况阴挟翰墨以裁前人之善恶，疑可以贷褒，似可以附毁，往者不能讼当否，生者不得论曲直，赏罚谤誉又不施其间，以彼其私，独安能无欺于冥昧之间耶？”
王安石自己，正是作了牺牲，殉祭于“杂出一时的执笔者”的书桌之上。他是庄子笔下的那只灵龟，它能现梦于宋元君，却不能避渔者之网，其智能七十二钻，而无遗策，而不能避刳肠之患。
王安石有一首《读史》诗：
自古功名亦苦辛，行藏终欲付何人？
当时黯黮犹承误，末俗纷纭更乱真。
糟粕所传非粹美，丹青难写是精神。
区区岂尽高贤意，独守千秋纸上尘。
王安石似乎已经预见到了自己身后的纷纷扰扰：活着的时候被人误解，死后，更是小人乱语。“当时黯黮犹承误，末俗纷纭更乱真”，抹去了历史的真相。得以流传下来的不过是一些糟粕，正如《庄子》所云：“古之人与其不可传者死矣，然则君之所读者，古人之糟魄已夫。”真正美好的东西是流传不下来的。即便是最出色的画师，也无法描绘出人的精神。这区区文字又岂能表达高贤之意呢？我们所守着的不过是千年历史文字的劫灰而已。
此时的王安石已是饱谙世味，一任覆雨翻云，总慵开眼；会尽人情，随教呼牛唤马，只是点头。
一千多年过去了，我们已经能理解王安石，正如黄仁宇说：“这事情的真意义，也只有我们今日在二十世纪末期，有了中国近代史的纵深，再加以西欧国家现代化的经验，才比以前的人看得更清楚。”他说，王安石“扩张性的眼界与传统的看法不同”，“与现代读者近，而反与他同时人物远”。
1944年，美国新政农业部长华莱士访华，有关的报道写道：“华氏研究中国历史，对于吾国王安石之农政，备致推崇，迭次言论中皆有向往之词。”而他1930年在美国经济大萧条时期，仿照王安石的青苗法，在美国建立常平仓，一方面实施农业贷款，一方面收购多余的物资和粮食食品，免费发给城市人民，不但解决了粮荒问题，还保证了粮食物资价格的稳定，为美国度过经济大萧条起了重要的作用……
千年以后，轮回归来的王安石，独自一人静静地翻看着那些历史的评价，他懵懂不知，仿佛看着另一个人的故事，“独守千秋纸上尘”是矣。
而千年之前，一个诗人，正乘着小舟缓缓江上，去往风起云涌的大宋熙宁年间……