因为王安石的文章见识、人品德行和地方政绩深受朝廷认可，朝廷屡下诏书召他回京任职，但王安石都推却了。舒州任满后，皇上命他在京任群牧司判官。王安石依旧坚决推辞，直到听了欧阳修的劝诫，才接受任命，时在至和元年（1054）。
群牧司是真宗朝所设，专管全国马政，直属枢密院，一般情况下由枢密院副使任一把手。王安石所担任的群牧司判官是在群牧司下设的判官厅工作，职务比集贤院校理高一级，而且待遇比较优厚。事已至此，王安石也不好再推辞，只好赴任去了。
但任命刚刚下来，却出现了一个小小的插曲。
当时有一位馆阁校勘名叫沈康，在朝廷已经是任职多年了，听说王安石被破格提任群牧司判官，一肚子不高兴，就直接找到宰相陈执中，希望能够任命自己为群牧司判官。
陈执中回答说：“王安石推辞召试，把机会让给别人，朝廷欣赏他淡泊名利，所以特别给予恩惠，岂是论资历来任命的？朝廷设馆阁，为的是优待天下贤才，就当以德为先，你却直接来抢，和王安石比，情何以堪！”
一通话，让沈康惭愧不已，沮丧地退了下去。
王安石到群牧司任职之后，认识了司马光。
司马光，字君实，陕西人。他比王安石大两岁，早两年中进士，也许像是上天特意安排的一样，北宋时代的两个大文学家、大政治家身上有着颇多的相似之处，似乎两人天生就应该是朋友。这两个人都才华横溢，从小都博览群书，文采都相当的出众。当时他们只是觉得相见恨晚，彼此非常欣赏，因此很快成为了挚友，经常在一起谈诗论赋，讨论国家大事，若有几日不见，彼此都会觉得落寞不已，似乎少了点什么。
虽然有这样的益友为伴，王安石的群牧判官生涯还是十分痛苦。因为这个职务太清闲了，他觉得自己正处在大展宏图的好时光，可以为百姓效力，却不得不在这里蹉跎岁月。而且他感觉和这些京官在很多方面都格格不入，在官场上有一种被排挤的感觉，远没有自己做地方官时的自在与洒脱。
在任群牧判官期间，王安石也曾于嘉祐元年十二月，任提点开封府界诸县镇公事。这个官职也没多大实权，王安石不愿干这些琐事，因此，写了一封《上执政书》，仍然要求到外地去做官，并说自己一直要求外放，希望朝廷能派他到地方去做一点实事，可以“少施其所学”。
就是在这个时期，他作了许多诗来排遣自己的苦闷心情。
寒堂耿不寐，辘辘闻车声。
不知谁家儿，先我霜上行。
叹息夜未央，遽呼置前楹。
推枕欲强起，问知星正明。
昧旦圣所勉，齐诗有鸡鸣。
嗟予以窃食，更觉负平生。
在这首《强起》中，王安石说自己整夜都睡不着，一直想为百姓做些什么，可是他能做什么呢？他有的只是叹息自己在浪费百姓的粮食，碌碌无为。在这个清闲的位置上，即使是满腹经纶，才高八斗，又能怎样呢？
他经常回忆起自己任地方官时的日日夜夜，想起那个时候自己整日忙碌于兴修水利，劝课农桑，虽然很累，但是心里却很充实。他对南方的一山一水，一草一木感情都太深了，他做梦都想回去。
因此，在任群牧判官两年多的时间内，他写了十多封请求信给朝廷，要求外放为官。他不满于在京城无所事事，他觉得应该为老百姓做些实事。至和二年，他在答《钱公辅学士书》中提到，中个科甲，当个京官，只要不傻，谁都可以做到。读书之人，重要的是行道，能够把自己的毕生所学贡献给百姓和国家，这才是读书之根本。如果不能行道，即使贵为天子，拥有天下，亦无所用。
在请求信中，他当然不能写这些内容，他只能继续以家庭为借口，请求朝廷准予外放。过一段时间之后，王安石又说自己身体不好，这在某些程度上来说也是实情。王安石学习时，经常苦思冥想，用脑过度，导致头昏失眠。
最后，他提出了自己的要求：
东南宽闲之区，幽僻之滨，与之一官，使得因吏事之力，少施其所学，以庚禄赐之入，则进无所逃其罪，退无所托其身，不惟亲之欲有之而已。
在这封信里，他吐露了自己的真实心声，他太盼望着能为老百姓做些实事了。
在十多次请求之后，朝廷终于批准了王安石的请求。嘉祐二年（1057），36岁的王安石出任常州知州。朝廷命他五月离京，七月到任。消息传来，王安石掩饰不住内心的喜悦之情，随即赋诗一首：
二年相值喜同声，拜辔尘沙眼亦明。
新诏各从天上得，残樽更向月边倾。
已嗟后会欢难必，更想前官责尚轻。
黾勉敢忘君所勖，古人忧乐有违行。