苏辙是个沉静而果断的人。苏轼曾一再上表提到税制和征兵的改革，劝皇帝不要征所得税；苏辙始终保持沉默，如今却觉得时机已到，可以力倡全面的政治改革。王安石十月已在出京途中，苏辙没有等哥哥，直接带着一份全面革新的奏折进京。
苏辙的家人还留在济南，他们迎接了苏轼。苏轼在济南住了一个月左右，熙宁十年（1077年）二月十日，两兄弟的眷属到达京城附近的黄河岸边，苏辙出京到河岸以北三十里的地方接他们，两兄弟在雪中畅游了几日。苏辙带给哥哥一则消息，说苏轼在河中府的新职已被取消，改派为徐州太守。
他们抵达京师，遇到一件十分费解的事情：门吏告诉苏轼，不许他入京，却又没有合理的解释——这也许是因为政局不稳，有些官员不希望皇帝见到苏轼，于是借皇帝的名义发的命令。两兄弟只好回头，折往东城外的好友范镇家中。
这时苏轼的长子苏迈已经十八岁，该娶亲了。研究苏学的人始终没有探明女方的身份，只知道苏迈是在此时娶的亲。
儿子娶亲后，苏轼携家眷往东，到现在江苏省境内的徐州任职；苏辙也携家眷到商邱（南都）任通判。他把家人交给好友张方平，陪哥哥到徐州，住了三个月才回到家人身边。
徐州不但是大城，也是战略要地，控制了山东南部的山区。过去几个朝代，徐州附近常有战役发生，现在津浦铁路和陇海铁路就在这儿交会：二十年后水泊梁山著名的水浒故事就发生在这附近。城市临河，南面有两大高山环绕，深邃的急流绕过山下的市区。此地出产花岗细石、铁、煤，宋朝时就曾充分开采，此地的刀剑也很著名。苏轼喜欢这里天然的风光，喜欢各种精美的鱼蟹，他认为徐州是“暂留”的好地方。
熙宁十年八月，苏轼刚到徐州上任三个月，徐州发生水灾。王安石曾想疏通黄河，但是花了五十万缗毫无效果，主工程师畏罪自杀了。黄河在徐州以北五十里处的曹村决口，泛滥到梁山泊，溢满了南清河，水势蔓延了几百平方里。大水汇聚到徐州城下，被南面的高山挡住，水位不断高涨，九月达到二十八点九尺，如果不及时排水，徐州城就将倒坍。苏轼舍身救城，好几周都没有回家，他每天住在城墙顶的小棚子里，监督修固外墙的工作。城里有钱的人家纷纷争着出城避水。苏轼说：“富户一旦出城，城里的百姓就都会动摇，我和谁来共同守城？只要我在徐州，就一定不会让洪水冲毁徐州城。”于是把那些有钱人又赶回到城里。洪水眼看就要超过东南外墙了，苏轼指挥把墙基加厚，城墙加高。挡水的防御工事长九十四丈，高十丈，宽两丈。苏轼亲自趟水到武卫营，唤来了卒长，向他寻求帮助。武卫营属禁军，直接归皇帝统领，不听命于地方官员。苏轼对卒长说：“黄河水就要冲毁徐州城了，事态紧急，虽然你们是禁军，也要请你们尽力帮助我。”卒长感动地说：“太守尚且不躲避大水，如我辈小人，自然更当效命。”就带领了他的士兵几千人，拿着畚箕和铁锸奔了出去，修筑了东南的长堤。这时北方的工事已做好，准备把洪水引入黄河故道。在洪水围城四十五天之后，十月十五日，黄河回归故道，向东在海州附近入海，洪水开始退去。
城市获得保全，人民都欣喜若狂，对苏轼万分感激。苏轼对暂筑堤不满意，就上表给朝廷，明列数字，要上面拨款兴建石墙，以备不时之需，可朝廷没有回音，他只好修改奏折，改建石墙为建木岸。皇帝下了一道公文，夸奖他的伟大功劳，次年二月苏轼得到三万多贯的拨款，一千八百担米粮和七千二百个人工，他组织在城市东南建了一道木坝。苏轼性好建筑，就在这道外城墙上建了一座十丈高的楼台，起名叫“黄楼”。后来他在徐州写的诗集就叫《黄楼集》。
元丰元年重九，黄楼举办盛大的庆祝仪式。苏轼非常高兴：百姓没有被洪水吞噬；大家花了半年多时间建成了水坝和楼台——黄楼属于全城百姓，是未来对抗水患的明显象征。全城的百姓都来参加这个典礼。东门上黄楼耸立，高达十丈，下面是五丈高的旗杆。楼台建成宽塔的形式，大伙儿上楼观赏四周的风光，从窗口望出去，早上的浓雾迷离，只听到下面船只的桨声，恍如置身大海船中，不久，天渐渐晴朗起来，远处的渔村和岩峰下的五六所庙宇历历可见。南面前端可以看见隆起的台地，以前曾是戏马台，如今建了一座佛寺，长长的新堤由庙宇开始，沿东城墙向北延伸，他们听见远处的潮声与下面鹅鸭的鸣叫声交织在一起，组成奇妙的乐章。最后是大宴宾客。
苏轼写了一篇文章纪念这盛大的场面，叫人刻在石头上，这块石碑，随着苏轼政治上的起落，经历颇不平凡。苏轼后来遭到放逐，他的一切碑铭都奉命拆毁，当时的徐州太守只把这块碑丢入附近的壕沟中。十年后，大家都忘记了这条禁令，皇家也开始收集他的文稿，在任的另一位徐州太守叫人把石碑从沟里挖出来，星夜赶制了几千份拓本，事毕之后，他恍然大悟似地说：“唉呀，我忘了，苏碑的拆毁令还没有解除，叫人来把这块碑毁掉吧。”
此时，人们已无法探知当初苏轼立于黄楼之上，举目四望时的心情。
东飘西荡，四处游历
元丰七年三月，有消息传到苏轼耳中，他被调到汝州任职。据说皇帝本想叫苏轼掌史馆，但四周有人极力反对，最后他亲笔下诏，把苏轼的谪居地由黄州移到汝州（临汝），离京师较近，是居住的好地方。
苏轼逃避这道派令，用他自己的话来说，“殆似小儿延避学”。调职的消息传来的两天前，三月三日，苏轼还在定惠院后山的商氏园内和朋友们欢聚，喝酒聊天。调职令来之后，他犹豫了好几天，不知道该不该申请留居黄州。后来想到新派令是皇帝的好意，决心服从命令，抛下东坡的农庄。
苏轼多年的辛劳即将一笔抹煞，他造的房屋，他开垦的农田，他种的菊花和茶树，都不可能带走，他不得不又在别的地方另辟一个“农场”。虽然苏轼是在十分窘迫的情况下接受调职，他的敌人们还是很不安。苏轼的名声太大，他的文名与诗名令太多的人知道他，他的官职微小，但他的敌人总对他如临大敌。
苏轼接受调职，上表给皇帝表示感谢，神宗看完苏轼的折子后，对朝臣说：“苏轼真是天才。”
这时就有人又想挑苏轼的毛病，他向皇帝奏道：“我认为苏轼仍在发牢骚。”
皇帝惊问道：“何以见得？”
“苏轼用了‘惊魂未定，梦游缧绁之中’等字句，又提到他兄弟二人曾通过特别考试。意思是说他们凭策问通过考试，现在却为批评朝政而受罚，这不是在责怪皇上吗？”
幸亏皇帝还算清醒，他说：“我了解苏轼，他心里是没有坏意的。”
这样才令小人们闭了嘴。
苏轼到黄州，原是以待罪之身来过被羁管的囚徒日子的，但颇得长官的眷顾，居民的亲近，加以由于他性情达观，思想通脱，善于自解自慰，变苦为乐，却在流放之地寻到了无穷的乐趣。他寒食开海棠宴，秋江泛赤壁之舟，风流高雅地徜徉了五年之久。一旦言别，岂能不牵心挂肠于此地的山山水水和男女老幼？更何况这次虽是从遥远的黄州调到离京城较近的汝州。但五年前加给他的罪名并未撤消，官职也仍是一个“不得签书公事”的州团练副使，政治处境和实际地位都没有任何实质上的改变。因此，苏轼心中没有任何欣喜之感。他这一年已四十八岁，在二十多年的宦海生涯中，由于政治上的风云变幻，他不断地西去东来，南迁北徙，尝够了人生的苦味。当此再一次迁徙之际，政治牢骚与思乡之情交织在他心中，使他思绪万千，心潮难平。不过苏轼毕竟是豪放旷达之士，他不愿、也绝不会在牢骚与哀愁中沉沦下去。苏轼决定先到高安看望弟弟苏辙，他让长子苏迈带全家人去九江等他。有三个朋友决定送他去九江，一个是前面曾提到过的陈；一个是比他小五岁的和尚参寥，他们在徐州认识，参寥曾到黄州陪他住了一年左右；还有一位道士乔同。
苏轼陪参寥到著名的庐山玩了几天，写了几首咏庐山的诗，其中一首，成为描述此山特色的最佳作品《题西林壁》：
横看成岭侧成峰，
远近高低各不同。
不识庐山真面目，
只缘身在此山中。
此诗不以描写瑰丽的景色取胜，也不以抒发强烈的激情感人，而是着墨素淡，不事雕饰，在浅显朴实的语言中深含哲理，启人思想，耐人寻味，从而博得万口争诵，千古流传。它为我们揭示了一个深刻的哲理：凡是局内人往往不容易看清事物的全貌和实质。这就为我们防止主观主义提供了生动而有力的借鉴，要求我们不断提高自己的认识能力，善于从不同角度观察问题，从不同方面考虑问题。这是诗中所展示的重要思想意义，也是今人一致肯定这首诗的原因。
苏轼去弟弟那儿住了六七天，然后乘船去九江接家人。他带家人下长江，九月抵达金陵（南京）。朝云为苏轼生的儿子，叫遁儿，在十个月大时不幸夭折，苏轼和朝云都十分伤心，尤其对朝云来讲，这是个很大的打击，苏轼在一首悼亡儿的诗中说：“我泪犹可拭，母哭不可闻”。后来朝云没再生过孩子。
到南京后，苏轼去看王安石，王安石现在已是体弱多病的老人。双方都是大诗人，佛教信仰者，在一起谈诗论佛，也有不少话可说。不过，谈到国事和新政时，他们的意见仍不一致。
苏轼到达富庶的江苏盆地，顿时爱上了该处的美景和气氛，在由南京到靖江的路上，他一路计划着买地置田。他认为，皇帝可以把他由黄州调离，也同样可以把他调离汝州去居住别处，所以，每到一地他就寻找晚年养老所在。他的朋友们纷纷提供意见。仪真的太守来邀苏轼同住，他同意暂时将家人安顿在仪真学府中。仪真在长江以北，靠近南京。
苏轼的好朋友滕元发在南岸湖州任太守，他劝苏轼住在常州区太湖左岸的宜兴。他们想出一个主意，由苏轼在宜兴买田，然后上表请求住在该地，就说农庄是他惟一的谋生本钱。滕家的一个亲戚在宜兴城外二十里的深山中有一处田庄，每年可产八百担米，苏家可以凭此衣食无忧。苏轼托朋友卖掉他父亲在京师留下的住宅。