晚年生活王安石生命中的最后两年是在极度痛苦之中度过的。永乐城兵败之后，神宗遭受沉重打击，身体一天不如一天，两年后病逝。幼子哲宗继位，太皇太后高氏垂帘听政，起用司马光。司马光进行『元祐更化』，把熙宁、元丰年间主持变法的官员全部贬黜，并逐条废除新法，王安石与神宗等人十余年的心血付之东流！
王安石的晚年生活过得还是比较闲适的。远离了政治的纷争，此时静下心来，徜徉于山林之间，与两三知己游山玩水，讲经论道，或止于道旁，或宿于禅寺，俨然是一个世外高人了。元丰元年（1078），特授开府仪同三司，封舒国公，领集禧观使。三年（1080），授特进，改封荆国公，所以后世常称荆公。
在王安石第二次出任宰相时，就已经为自己的再次归隐做好了准备。他已经深深地知道，这次出来的时间不会太久。神宗已经成熟了，不需要再事事依赖他了。而且他自己的身体每况愈下，也已经不容许他再日夜操劳。最重要的是，王安石该做的事情已经差不多做完，新法都已经相继出台，余下的只是如何贯彻实施，是守成的问题，神宗一人就可以支撑局面了。
所以，王安石早早地就托江宁的朋友为他购买一块田地，以做终老之计。这块地就在江宁城外白塘，距江宁城七里，距蒋山也是七里，地处人山之半途，所以王安石给它取名为“半山园”。半山园东面不远，就是有名的“谢公墩”，南面有定林寺，附近还有孙权墓、宝公塔等，虽然偏僻，却很适宜隐居。
说起“谢公墩”，倒有一个荆公“争墩”的有趣故事。说起来“谢公墩”也不过是一个地势高一点的土墩，只因为晋朝丞相谢安经常登临此处，故称“谢公墩”。谢安，字安石，与王安石的名相同，王安石也很崇敬谢安的为人。但是，对于“谢公墩”，王安石却不客气了，要把它据为己有。为此，他特意在“谢公墩”处建了个小亭，取名为“半山亭”，如此，“谢公墩”就名正言顺地成了王安石的私人物品。开心之余，王安石写诗一首：
我名公字偶相同，我屋公墩在眼中。
公去我来墩属我，不应墩姓尚随公。
你走了，我来了，这个墩就是我的了，不应该还随着你姓谢了。王安石的可爱之处尽现出来。后人曾笑言“荆公好与人争”，“在朝则与诸公争新法，在野则与谢公争墩”。这也算是一段千古佳话了。
“半山园”与其他人的庄园比起来，实在是太寒酸了，“仅蔽风雨，又不设垣墙，望之如逆旅之舍。”连个院墙都没有，只能算一个荒郊野外的小旅店。有人劝王安石筑院墙，王安石却始终没有同意，在他看来，如今已经很好了。在他的诗词中，多处提及半山园的环境优美。后来，王安石大病一场，神宗派御医前来为他诊病，王安石趁机向神宗请示将“半山园”捐作寺院。神宗同意了，并亲笔赐名“报宁禅寺”，所以“半山园”后来又称为“半山寺”、“报宁禅寺”。捐出“半山园”之后，王安石在城中租了一个院子安居，一生都没再置产业。一个全身而退的宰相，又有皇帝的百般照顾，却甘愿过着如此清贫的生活，自得其乐，荆公的品性不能不令人敬佩！
退居江宁以后，王安石并非无事可做，删定《字说》是他的一项重要工作。以前，在朝中时政务缠身，一直没能定稿，如今总算有时间详细推敲了。对于《字说》，王安石投入了极大精力，想要给后世留下一部经得起品评的文字学著作。《字说》二十四卷，删定之后上呈神宗，神宗当即把它定为学子必读的教材，与《三经新义》并行于世，在当时影响很大，深受好评。可惜的是，后来，反对派们当政，不辨优劣，但凡与王安石相关的尽皆废除，《字说》亦不能幸免。
著作之余，王安石就会走出“半山园”，四处闲逛。出门只骑一头驴。有人因他年事已高，劝他坐轿，王安石回道：“岂可以人代畜？”哪怕只是轿夫，王安石也不愿轻贱他们，把他们当牲口使唤。有时候不骑驴了，就会坐一种江州车，自己坐一箱，另一箱就由村人或仆人坐，毫不介意。
钟山是他最常去的地方，累了就去定林寺的禅房里歇息，天晚时才回。出游时，也常常毫无目的，随心适意。有一次，王定国去看望荆公，正遇到荆公骑驴出行，一个仆人牵着驴跟随。王定国就问军士，相公要去哪里。军士回答说，如果牵驴的仆人在前面走，那就听仆人的，牵到哪儿是哪儿。如果仆人在后面，那就听驴的，驴走到哪儿就是哪儿。什么时候相公想要停了就随时停下来，或是坐在松石上，或是去到农户家里，或是去附近寺院。但有一点，就是随行一定要带着书。有时骑在驴上诵读，有时停下来休息时诵读。每次还用囊装着十几个饼，饿了就吃饼，相公吃完，给牵驴的仆人吃，剩下的就喂驴了。有时候，附近的山野人家献上饮食，也吃，并不客气。
有一年盛夏，提刑官李茂直去看望荆公，在道旁遇到了。荆公下驴，与李茂直坐在路旁讲话，说了很长时间。太阳转西，阳光照射到两人身上。李茂直令随从张伞，但伞只能遮住一个人，阳光全落在了荆公身上，李茂直过意不去，令随从把伞移到荆公头上，荆公说：“不须。若使后世做牛，与他日里耕田。”如果后世托生为牛，还要在太阳底下耕田呢。其豁达如此。
荆公晚年喜读佛经，对《维摩诘经》和《楞严经》爱不释手，交往的人中也多是一些不合群的孤高之士，如俞秀老、俞清老、杨德逢、王介等人。
俞秀老，名紫芝，浙江金华人。一生不娶妻，参修佛法，工于诗，“尝作唱道歌十章，极言万事如浮云，世间膏火煎熬可厌，语意高胜。”荆公喜欢他的这些歌，常让身边的人歌唱，也作有与之往来的游戏歌曲。在《诉衷情·和俞秀老》组词中，荆公写道：
其一：
常时黄色见眉间。松桂我同攀。
每言天上辛苦，不肯饵金丹。
怜水静，爱云闲。便忘还。
高歌一曲，岩谷迤逦，宛似商山。
其二：
练巾藜杖白云间。有兴即跻攀。
追思往昔如梦，华毂也曾丹。
尘自扰，性长闲。更无还。
达如周召，穷似丘轲，祗个山山。
词中透露出的是一种如闲云野鹤一般寄情山水，看淡世情的心态。有一天，荆公与俞秀老同到报宁寺，荆公累了，就在禅房小睡，秀
老私自骑了王安石的驴去法云寺找宝觉禅师。荆公睡起，等俞秀老回来之后，假意正色责问他：“你作为读书人竟然敢盗骑我的驴！”俞秀老道歉，说知错了，请求自赎。荆公就罚他作《松声诗》一首。俞秀老脱口而出，其词极佳，只是山中之人多忘记了。
俞清老，名澹，是俞秀老的弟弟，亦是终身不娶。俞清老为人滑稽幽默，放荡不羁，精通音律，晚年曾作《渔家傲》等乐府诗数首，山行即歌之。荆公也非常喜欢与他交往。
有一次，俞清老忽然起了出家的念头，对荆公说：“我想要出家当和尚，但是没有钱买祠部。”荆公觉得他的想法也不是坏事，就欣然出钱为他在半山寺置办了祠部。俞清老和荆公约了正式削发出家的日子就回去了，等到了日期，却不见来，又过了几天还是没有消息。好不容易等俞清老来了，荆公问他原因，俞清老慢慢地说：“我想，当和尚也不是那么好当的，您所赠的祠部已经送给酒家抵偿旧债了。”荆公听了大笑。
俞清老最后还是做了和尚，法名紫琳，但却并不受佛门约束，穿僧服却戴儒生冠，喝酒吃肉。经常抱着《字说》跟随在荆公后面，往来于法云寺、定林寺之间，“过八功德水，逍遥游亭之上。”遇到好学的人请教荆公《字说》中的问题，荆公“口讲手画，终席或至千余言”，俞清老就在一旁听。也是一时盛事。黄庭坚还据此特意画了一幅《王荆公骑驴图》，并写文记述。
王介与荆公的关系也很好，两人经常在一起斗诗。荆公曾在驿舍写下两句诗：“茅店沧洲一酒旗，午烟孤起隔林炊。”
王介见到后，瞧不起荆公此联，便在其后续道：“金陵村里王夫子，可是能吟富贵诗。”
荆公知道后，对王介也不屑意，又续了一联：“江晴日暖芦花起，恰似春风柳絮时。”此联以芦花和柳絮来讥讽王介轻狂。
又有一次，两人在一起聊天，荆公随口吟诗一首。王介不服气，“遂和十篇，盛气而诵于荆公”，其中有两句：“正直聪明神鬼畏，死时应合作阎罗。”
荆公听罢笑道：“阎罗见缺，可速赴任也。”
王介哭笑不得。
有一个丹阳人陈辅之，荆公也很喜欢。有一天陈辅之到杨骥德家去喝酒，走时写了一首诗送给杨骥德：
北山松粉未飘花，日下风轻麦脚斜。
身似旧时王谢燕，一年一度到君家。
杨骥德不明白是什么意思，就跑来请教荆公，荆公看后，笑对杨骥德道：“你吃亏了，陈辅之这是骂君寻常百姓也。”
原来刘禹锡诗中有“旧时王谢堂前燕，飞人寻常百姓家”一句，现在飞到杨骥德家里去，自然是说杨骥德是寻常百姓了。