熙宁六年（1074）发生了一件大事，对王安石变法运动产生了致命的打击。这件事情的起因是一位名叫郑侠的看城门的小官进献的“流民图”。
郑侠原本是由王安石亲自提拔上来的，可是在他目睹了变法运动给老百姓带来的惨状之后，实在是忍受不住了，道德良知促使他一定要把实际情况向宋神宗上报，以解万民于倒悬之苦境。按理说在很多朝中大臣接连上奏折都没能让宋神宗改变主意、停止新法，作为这么一个小官的情况上报，怎么可能引起宋神宗的重视呢？估计郑侠在上奏折前，一定也是大费思量，思忖着如何写这奏折，才能引起宋神宗的重视。最终，郑侠选择了一个与其他大臣都不相同，非常特殊的汇报方式，郑侠并不是上一道文字奏折，可能他知道，宋神宗肯定对普通的奏折已经提不起兴趣了。于是，郑侠画了一幅“流民图”，呈见宋神宗，并附言此图所绘皆他亲眼所见的民间流民扶老携幼之困苦之状，俱是实情，请神宗观其害，罢废害民之新法。并且郑侠还立下军令状：“延万姓垂死之命，十日不雨，乞斩臣宣德门外，以正欺君之罪。”也是说，他请求宋神宗废除新法，是在为万民请命，如果罢废新法后，十天之内还不下雨，就让皇帝斩了自己。从郑侠所立下的军令状来看，他为了罢废新法，可以说将身家性命都全部押上去了。
宋神宗收到此图后，打开一看，不由倒吸一口冷气，只见图上无数流民扶老携幼，身无完衣，啼饥号寒，口嚼草根野果，许多人身披锁械犹负瓦揭木、卖以偿官，百姓尸体，奄毙沟壑，累累不绝。但是面对这样的惨状，酷吏还在威逼恫吓，怒目追索，无数百姓流离失所、呼天抢地……
看完，宋神宗不禁潸然泪下，他非常痛苦、非常无奈，也非常迷惑，因为宋神宗实在想不明白，以“富国、裕民、强兵”为目的的变法运动，怎么会造成这样一个“民不聊生、天下万分悲苦、海内民怨沸腾”的局面？他实在是想不通啊，到底变法运动错在什么地方？
“流民图”所绘之天下黎民百姓的惨状，不仅惊动了忧国忧民的士大夫们，使得请求罢废新法、贬黜王安石的折子像雪花一样朝宋神宗飞来，还惊动了两位太后，曹、高两位太后也是一把鼻涕、一把眼泪地述说“安石乱天下”，恳请皇上罢废新法，罢免王安石。
在这样的压力下，宋神宗不得不选择了妥协。熙宁七年（1074）四月，王安石第一次罢相，出任江宁知府。下令暂时罢免青苗、免役、方田、保甲等十八项法令。
吕惠卿等改革派坚持新法是正确的，并把郑侠交御史治罪。吕惠卿、邓绾言于帝曰：“陛下数年以来，忘寝与食，成此美政，天下方被其赐，一旦用狂夫之言，罢废殆尽，岂不惜哉！”相与环泣于帝前。于是，新法一切如故，唯方田暂罢。
这一次政治较量中唯一被废除的方田均税法，也是唯一以遏制土地兼并为目的的新法。不伤害老百姓的被废除，伤害老百姓至深的则统统保留，真让人啼笑皆非。
虽然以后宋神宗又重新启用王安石为相，变法运动仍是时断时续，但是整个变法运动发展至此，基本可以宣告它的失败了。