就在王安石罢相、复相的这段时间，王安石的儿子王雱因背疽早逝，死时仅33岁。王雱是王安石的长子，自小聪慧过人，深得王安石的宠爱。进士及第后，他与父亲同朝为官，共同修撰三经。王雱的死无疑又在王安石的伤口上撒了一把盐，伤痛自不待言。此时的王安石对儿子王雱的死深感痛惜，这不仅使他视富贵如浮云的观念更加强烈，且对人生如梦，转瞬即逝的思想有了更加深刻的认识，这更加坚定了王安石辞相归去的决心。
王安石第一次罢相虽说是出于自愿，但不免有怨恨之情，但第二次罢相却只有无限的遗憾与轻松。他是解脱了，可这代价也太大了，为了变法，他付出了一生的心血，甚至也牺牲掉了爱子，可换回的却是无尽的伤痛和天下人的谩骂，没有人能理解他。
其实，自从王安石登上相位的那一天，就注定了他要以悲剧收场。在这场前无古人后无来者的大变法中，皇帝是帅，他是将，按照人们传统的思维，皇帝是天之骄子，圣明如神，是完美的化身。在这场变法中，如果取得了什么成就，首要功劳肯定要归功于皇帝，而如果出现了错误，王安石理所当然地就成了替罪羔羊。
在王安石离开京城之前，他最后一次去面见神宗皇帝。当两人单独在一起的时候，两人都心知肚明，他们再也回不到过去了，君臣叱咤风云的时代已经结束了，而王安石作为臣子，要永远地为大宋王朝做替罪羊，来承担来自全社会的巨大压力。
神宗皇帝充满了内疚，两人迟迟默不作声，大殿里的空气都凝固了。最后还是皇帝先开了口，说道：“爱卿这次虽离职，但变法还要继续，等到风平浪静之时，朕还要请爱卿回来主持朝政。”
王安石强挤出了一丝苦笑：“臣真的累了，这些年来为了变法确实耗尽了心力，真的撑不下去了。如今老臣终于可以安心地休息了，说真的，臣期待这一天也很久了，唯一让臣不放心的就是变法大业全部要靠陛下了，今后陛下一定要多多注意身体。”
神宗恋恋不舍地对王安石说道：“爱卿走后，朕就好比失去了左膀右臂，没有了爱卿，今后谁还能与朕彻夜长谈国家大事呢？”
皇帝叹了口气：“爱卿这一走，不知何时才能相见，愿爱卿回金陵后好好调养，朕也不知道该送什么给你，就赐你黄金百两，你就不要再推辞了。朕知道你为官清廉，积蓄不多，这点钱全当是朕的一份心意。这次回去又要不少开销，这点钱你拿着用，千万不要苦了自己。”
王安石眼圈一红，两行老泪顿时流了下来。归根到底，还是皇帝了解他啊，像这样亦臣亦友的君臣之情，世间能有几人？但他们再惺惺相惜，最终还是免不了要分离。王安石深深地叩下头去：“老臣谢皇上。”
王安石去意已决，待他离开京城之时，他望着那熟悉而又陌生的城墙，内心苦楚而疲惫。他本有着干一番大事业拯救大宋王朝的雄心壮志，有着“以天下为己任”的初衷，有着“士为知己者死”的感恩戴德之心。在这场没有硝烟的战争中，他拼尽了所有，他对此无半句怨言，依旧忠心耿耿地奉献着自己的一切。然而，当新法激起群臣的攻击，当对自己不利的一切涌向他时，皇帝的动摇、眼中的疑惑、勉强的言语，深深地刺伤了王安石的心，他的灵魂空了。
王安石并不是一个世外高人，他不可能把这一切当做过眼云烟。他骨子里有着文人的脆弱，哲人的敏感。他自尊，自爱，多少还带着淡淡的哀伤忧愁。他向往自由安宁，可又放不下国家大事，这一切都在王安石心中进行着激烈的冲突。他为之奋斗终生的事业，不过是一件明知不可为而为之的事！这就注定了他的一生是个悲剧。
还在王安石被任命为宰相的时候，众人觉得他正是一展宏图备受宠信之时。有一天，文武百官都登门向他庆贺，但王安石却没有一丝兴奋，甚至连出房门都没有，而是独自与朋友来到西庑之小阁，徘徊许久，取笔在窗上写了这样一行字：
霜筠雪竹钟山寺，投老归欤寄此生。
此后，王安石罢相后曾与这位友人同游钟山，在小憩之时，说起书窗题诗之事，王安石叹息道：“你看是不是？”说完淡淡一笑，这笑中饱含了王安石多少的辛酸与无奈啊！
至此，原先那个“天变不足畏，祖宗不足法，人言不足恤”的勇士消失了。王安石叱咤风云的时代彻底画上了一个句号，只是这个句号不是那么的圆满。
王安石携着所有的家当与老妻静静地乘船回金陵。从东京回金陵，有水路相通，王安石并没有乘坐官船，却穿了便服去乘民船。在即将开船的时候，他对家仆吩咐道：“我虽然是当朝宰相，今已告老还乡，凡一路停船之处，有问到我官职的，你们莫说实话，只说是过往游客就行了。不然，惊动了当地官府和百姓，前来迎送，就太不方便了。谁若是有意走漏风声，那他一定是想敲地方上的竹杠或者想诈取民财，我知道了，决不轻饶！”众仆听了，大声说：“晓得了！”
这时，一个名唤江居的家仆拱手说：“相公如此隐姓埋名，假若途中听到了有人毁谤相公，该怎么对待呢？”王安石回答道：“常言说，‘宰相肚里能撑船。’说我好的，不足为喜；说我坏的，不足为怒。千万不要去招惹是非。”
他们沿水路走了二十多天，后来王安石因患病不适，只得同夫人等暂时分手，去走陆路，临别前约定到金陵江口相会。
原来走水路时一切还好，自打走陆上走，王安石真是受尽了窝囊气，处处不顺心。
一次在一个小镇上，他们主仆四人想找脚力，到一个人家去雇。他们刚说明来意，主人便摆手说：“自从拗相公当权，创立新法，百姓四处逃散，连饭都吃不饱，谁家还养得起骡马？”江居问：“你说的那位拗相公是谁？”主人道：“他叫王安石。听说长着一双白眼睛，真是恶人有恶相。”王安石听了低头不语，转身朝外走去。
王安石心中烦闷，到茶坊去转悠，只见茶坊壁间题着一首绝句：
祖宗制度至详明，百载余黎乐太平。
白眼无端偏固执，纷纷变乱拂人情。
王安石一看是骂自己的，沉吟半晌，又掉头走开了。他踱步走进附近一所道院，一抬头便发现红墙上面贴着一幅黄纸，上前仔细一看，纸上写的也是骂他的诗，说他“尽为新法误苍生”。王安石无可奈何地长叹了一口气，决定哪儿也不再去了，便疾步回到主人家，闷闷地过了一夜。
第二天午饭后，王安石去茅房解溲，只见茅厕土墙上，有人用白石灰水写诗八句，内容是攻击他的。说他排斥贤正，独断专行，倡言“三不足”，到头来将落得“千年流毒臭声遗”。王安石看着实在气不过，便抬脚用鞋底给使劲蹭掉了。回店后，他吩咐仆役赶快收拾行装，提前赶路。
一路上，主仆几人很少搭话，行色匆匆，只顾往前走。眼看天色渐渐黑下来了，仆人江居上前向王安石禀告到：“相公，天已晚了，我们到哪歇息？”王安石沉思了一下，回问江居：“依你之见呢？”江居答道：“要我看，今宵不必再宿村镇，还是借驿亭歇息好一些，省得生闲气。”王安石听了，点头称是。
这天晚上，他们便在附近的一处驿站住下了。夜间，王安石睡得很踏实，连日来的疲劳好像一下子都消散了。第二天一大早，江居等人忙着安排早饭，王安石独自在亭子间散步。忽然，他看到对面墙壁上题着两首绝句，其中一首这样写道：
高谈道德口悬河，变法谁知有许多！
他日命衰时败后，人非鬼责奈愁何？
王安石心想：一路来，茶坊道院，村镇人家，处处题诗讥诮，人人咒骂新法，真是咄咄怪事！如今连这驿亭也有题诗诋毁，真太不像话了！想到这里，他不禁勃然大怒，决定亲自去问个究竟。他唤来几名驿卒问道：“哪个狂夫，敢题诗壁间，毁谤朝政如此？”一位老卒应道：“官人息怒。我等实在不知此诗为何人所写，也是在一个早晨突然出现的。后来一打听，才知道不只我们驿站有题诗，其他各处也都有留题。”王安石又问：“此诗为何而作？”老卒说：“据说这都是上面布置下来的，说王安石罢相还乡，要各处题诗相送。于是，就有一些人出来到处题写这样的歪诗，毁坏他的名声，这可真是罪孽啊！”
王安石听罢，心中立刻明白了：原来这竟是顽固派们有意搞的鬼！他想，顽固派对自己和新法的攻击，从来都是不择手段的，这无关紧要，也不值得忧虑，只要新法能有益于黎明百姓，自己受些屈辱，又算得了什么呢！想到此，他便微笑着对驿卒说道：“既然这样，那就让他们到处去题写好了，总有一天会被人们抹掉的！”打这以后，一路上王安石就再也没有去理会题诗的事了。
等他回到金陵后，昔日的老宅已变得破败不堪，墙头爬满了野草与枯藤，这衰败的景象与他此刻的心情一样，凋敝凄凉。王安石实在太累了，多年的朝廷纷争，已经让他耗尽心力，筋疲力尽。坐在这熟悉的地方，呼吸着江南特有的温润，他的心情渐渐地平静了。
金陵这个地方，是王安石的发迹之地，当时，求贤若渴的宋神宗，一天几道诏书，要他到开封去任相国。现在，过气政客，失意明星，落魄文人，和不修边幅的前宰相，再度出现在金陵。
王安石最后的失败，倒不是正人君子把他挤出朝廷的，老实说，王安石实际是败在了他一手提拔的吕惠卿手里。
苏轼在南京见到下野的拗相公时，还曾关注他过去一些政治上的举措得失。他连连摆手说：“别问我，别问我，现在已是吕惠卿主政了。”而且还神秘兮兮地对苏轼嘱咐，“此话出于我口，入于你耳，万万不可为他人所知。”
他如此小心谨慎，不是没有来由的。由于王安石当年给吕惠卿写过一封私下的信，上面特地注上一笔：“勿使上知”，也就是不要让皇帝知道他们之间的秘密。结果，吕惠卿成了彻底的两面派，随时准备反戈一击的叛卖者，把这封“勿使上知”的信件，交给了皇帝，结果自然是可想而知了。
王安石下台以后，过度失落造成心理的极不平衡，时常“喃喃自语，有若狂人”，甚至歇斯底里地发作，还用手指对空书写“福建子”三字，一写就是半天。吕惠卿是福建泉州人。