苏轼之因为灾荒，浙江、江淮的流民为饥寒所迫，纷纷北上颖州。明年流民将更多，他于是又上书，请求拨款，购买粮食储存，以免难民“横尸布路”。苏轼刚刚为上报浙西灾伤事受到弹劾，他并没有因此而忌惮，又为民请愿。在这《乞赐度牒籴斛饾备赈济淮浙流民状》的最后，专门谴责了贾易之辈的无耻：“臣在杭州日，亲见监司州县，例皆讳言灾伤。只如今年苏、湖水灾，可为至甚，而台官贾易等，犹欲根究其事，行遣言者。苏轼积水未退尚土城门，而知州黄履已奏秋种有望。似此蒙蔽，习以成风。”真实上报灾情而受弹劾，结果只能出现“知州黄”这种大水未退已报秋种有望的角色，而最终受害的是百姓。苏轼提醒圣上注意这种蒙蔽。苏轼半年之后，调离颖州，改任扬州太守。
苏轼自颖州到扬州，一路考察，他发现一个奇怪发现。这一带田间一片翠绿，麻麦如云，但乡间百姓甚少，所见者也一个个面带愁容。苏轼摒去了随从兵卒，亲自深入村舍访问父老。乡亲们对他哭诉：“丰年不如凶年。天灾流行，民虽乏食，缩衣节口，犹可以生。若丰年举摧积欠，胥徒在门，枷捧在身，则人户求死不得。”苏轼听认为这是王安石新政留下的后遗症，新政的一个基本特点是尽量榨取百姓手中的钱，如青苗法是春耕时贷款于民（常常是强迫的），收割时以本带利收回；而兔役法是农民以钱代役；灾年之时，官府知道无油可榨，百姓缩衣忍饥尚能挨过；一到丰收年景，官吏全体出动逼债，敲诈勒索，因此农民们多流落在外，不敢回乡。
苏轼在扬州又不顾一切地继续上书。《论积欠六事并乞检会应诏所论四事一处行下状》说：“臣闻孔子曰‘善人教民七年，亦可以即戎矣。’夫民既富而教。然后可以即戎，古之所谓善人者淇不及圣人远甚。今二圣临御，八年于兹，仁孝慈俭，可谓至矣。而努擦日益困农民日益贫，商贾不行，水旱相继，以上圣之资，而无善人之效，臣窍痛之。”“臣顷知杭州，又知颖州，今知扬州，亲见两浙、京西、淮南三路之民，皆为积欠所压，日就穷蹩，死亡过半而欠籍不除，以至亏欠两税，走陷课利，农未皆病，公私并困。以此推之，天下大率皆然矣。”苏轼以自己的亲身经历，力诉前情，试图打动圣上。
一个月过去了，仍无回音，苏轼再上《再论积欠六事四事劄子》“臣闻孟子曰‘以不忍人之心，行不忍人之政’。若陛下初无此心，则臣亦何敢必望此政。屡言而屡不听，亦可以止矣。然臣犹孜孜强聒不已者，盖由陛下实有此心，而为臣子所格沮也。”由于苏轼的精诚所动，朝廷在这个月，诏下免除积欠。苏轼在杨州半年之后，又被调离扬州还朝。苏轼还朝不久，迁升为端民殿学土、翰林侍读学士、礼部尚书，这是苏轼一生的最高官职、似乎是乐极生。
于次年（元佑八年）八月，苏轼的继配夫人王闰之与苏轼共同生活了25年，情深意笃，她逝世令苏轼十分悲痛。在苏轼尚未摆脱悲痛时，九月，太皇太后高氏离世，她的离世对苏轼命运影响尤大。太皇太后亲政8年，支持旧派，她对苏轼恩宠有加，数次弹劾都被她搁置一边。哲宗年纪渐大后，对太皇太后的听政越来越反感，他有意与祖母对着干，支持新派，反对祖母所重用的人。太皇太后在世时，尚能稳定形势，她一去世，哲宗亲政，朝纲立即就变了。苏轼就在这个月，被外任为定州太守，这时国事将变，苏轼连见皇上辞行也未被允许。于是留书功谏皇上：为政之道在于疏通下情，不要轻信谗言，改变国策。
初到定州视察军队，边防军务之松弛、腐败令他吃惊。军中偷窃严重，赌博成风，法令不行。苏轼开始惩治违法者，严肃军纪。他深入军营，发现营房多已破烂不堪，苏轼立即上书：“岂可身居大厦，而使士卒终年处于偷地破屋之中，上漏下湿，不安其家？”他向朝廷要来钱款修建军营，安顿军士。
为防战事，苏轼上书请朝廷扶助当地民间的弓箭社。弓箭社由当地百姓组成，一家出一人，“带弓而锄，佩剑而樵”，骁勇敢战，曾数次击退过敌人。
苏轼离京赴定州前，曾谏劝皇上不要“轻有改变”，他已有预感，随着太皇太后的离世，政局将变。
绍圣元年四月，章惇的党徒御史虞策、殿中侍御史来之石阝先后弹劾苏轼，所用仍是“乌台诗案”时的故伎。他们在苏轼的文中寻找证据。苏轼起草的起用吕大防制诏，其中有“民亦劳止，汔可小休”之语，这句话引自《诗经》，原为讽刺暴君之作，苏轼用此句被攻击为将神宗比作周厉王，意在诽谤。苏轼起草的《司马温公神道碑》中，将神宗当政时司马光退居于洛阳比作“如屈原之在破泽”，这岂不是又将神宗比作了昏庸的楚怀王。凡此罪状种种，弹劾者要求“明正典刑”，结果苏轼被“落两职、追一官”，即落端明殿学士、翰林侍读学士两职，追回定州太守一官，以“左朝奉郎”知任英州。虞策认为“罪罚未当”，还应重罚，苏轼又被降为左承议郎。后苏轼又被连续追降为建昌军司马、惠州安置与宁远军节度副使，惠州安置。
被贬的不仅仅是苏轼，在朝的30多位高官被贬。苏轼被贬筠州，黄庭坚被贬黔州，秦观被贬彬阳，晁补之被贬蕲水，苏轼同党，被重罚。就连已躺在坟墓里的司马光，也被追回赠溢，毁掉碑位。苏轼为司马光所作的称誉有加的碑文当然也被一同毁弃。
59岁苏轼，身体又不好，两眼昏花，左手右臂都不太好使唤。一路之上，苏轼精疲力竭。走到滑县时，定州派来送的人不肯再往前走了，这时惠州前来接的人却还没到，苏轼做官时慷慨大度，没有多少积蓄，此时雇人买马的费用也没有，他们于是被困在这里了。苏轼上书皇上，说自己愿意死在瘴疠横行的岭南，而不愿葬命于途中，成为羁鬼，因此请求皇上恩准他乘船南行。作为对教授8年的老师的回报，哲宗答应了他这一要求。
乘船比陆行的确舒适多了，但未曾想到船至江西境内时，苏轼的最后一道滴命“宁远节度副使，惠州安置”传到，地方官认为苏轼已无权乘船，所以派500兵卒前来夺船。这时正值半夜，船正行至上不着村，下不着店之处，苏轼央求让他坐到天明，使者答应了。此时大风掠耳，篙师升帆，船顺风飞速驰行，结果天还没亮，船就抵达了南昌。
将苏轼发配到惠州，是当朝宰相章惇的主意，这其中包含着一个险恶的用意。章惇与苏轼原是朋友，苏轼任凤翔签判时，章惇那时为商州守，二人相距很近，相交甚欢。有一次他俩同游南山，经过绝壁万仞的仙游潭，苏轼不敢过悬崖上的独木小桥，章停则面不改色地走到对面，在绝壁上写下“章停苏轼来此一游”，苏轼对他说：“你以后必能杀人！”章惇问：“为什么？”苏轼回答：“不顾惜自己生命的人必不会怜惜别人的生命。”苏轼的话今天果然验证了，对元佑旧臣流放迫害即由章停等人所为。章惇了解到苏轼的仇家程之才正在任广南东路提点刑狱，故意将苏轼发配到惠州程之才的治区。
程之才其实是苏轼的姐夫。苏轼原有个姐姐，名叫八娘。关于八娘，史载不多，只知道她后嫁给了表兄程之才，出嫁后她在婆婆家受尽虐待而死。为此苏家与程家大闹了一场，并与之绝交，两家从此成为仇人。苏轼兄弟当时还小，但后来也一直与程家没有往来。42年过去了，未曾想程之才与苏轼在这种情形下又见面了。程之才这时已经年老，对过去之事已经淡漠，得知苏轼来此，他非但不想存心加害，而且想弥补过去的嫌隙，因此他对苏轼反倒格外关照。二人相处越来越好，42年的积怨终于消除了。章惇算是偷鸡不成，反蚀了一把米。
惠州并非中原之人想像的那种蛮荒之地，这里有山有水，树林茂密，热带水果很多，居民也很热情。苏轼住在合江楼上，俯视溪流山川，心情变得愉悦。
苏辙从合江楼迁出后，在白鹤峰盖了几间房屋，花去了积蓄的一大半。还剩一些，他觉得“书生薄福，难蓄此物”，于是他将钱散到公用事业中了。一是收葬野坟暴骨，使得死人地下安心；二是捐助修了两座桥，便利百姓。
苏轼永远是一个关心现实民生的人。虽身为罪人，但通过程之才他对惠州官事得以了解，他常常热心地为地方官出谋划策，为民造福。
苏轼在湖北时，见农民插秧都坐在可移动的秧马上，极其简便，这样就避免了俯身插秧的腰酸背痛之苦。来惠州后，他热心地向惠州博罗县令林并推广这种农具，并将自己写的《秧马歌》出示给他。林并对此很感兴趣，他带领农民制作并试验，结果效果很好。秧马后来得到农民的喜爱，苏轼在世时，惠州一带的农民都已在插秧时普遍使用秧马。
苏轼根据惠州一带河流众多，水力资源丰富，又建议林拚在河上筑坝，利用水力作碓磨，这样就大大节约了人力。
当地驻军没有集中的住处，他们都散居在市井之中，这样既骚扰市民，集合起来又很拖沓。苏轼建议程之才建造300间营房，集中管理，训练军士。营房落成后，情况果然大为好转。
苏轼发现广州居民饮水一直是个问题，又威又苦的地下水不但难喝，而且常常导致疾病，致使瘟疫流行。使向太守王敏仲推荐了道士邓守安，邓守安有一套引山中涧水入城的精妙设想，其主要方法是用竹管引水。这个设想虽然花费不小，但一但施行可保证城内居民喝上甘例的山泉水。
苏轼晚期词作大少，此时的《蝶恋花》一词：
花褪残红青杏小，燕子飞时，绿水人家绕。枝上柳绵吹又少，天涯何处无芳草。墙内秋千墙外道，墙外行人，墙内佳人笑。笑渐不闻声渐悄，多情却被无情恼。
无论你如何喜爱春天，它都会毫不留情地离你而去：你多情，佳人却无情，到头来你得到的只是烦恼。苏轼借此隐喻自己对现实政治多情却反被政治遗弃的伤感心理。苏轼最终还是一位热爱生活的人。
传说苏轼的爱妾朝云在演唱这首词时，唱到“枝上柳绵吹又少，天涯何处无芳草”时，禁不住泪满衣襟，硬咽不止，苏轼笑道：“这首诗我悲政事，而你又独自伤春了。”朝云是苏轼通判杭州时收的妾，她美丽活泼，善解人意，深得苏轼喜爱。苏轼曾有数妾（这在宋代是很正常的），在苏轼流放南下时，那些妾都先后走掉了，只剩朝云与苏轼朝夕相守。朝云这段时间陪伴苏轼，给了他不少的温馨、鼓舞。然而不幸的是，年仅三十出头朝云不久竞染疾而去。苏轼极为悲痛，他从此不再听这首《蝶恋花》。
苏轼很孤独，但常常有认识或不认识的朋友前来看他，这给他带来不少温暖。其中最感人的是苏州定慧院的卓契顺步行数千里，来惠州看望他。原来留在宜兴的苏轼的长子苏迈、次子苏迨等人因长期得不到父亲的音信，十分焦急，整天愁眉不展，卓契顺对苏迈说：“你何苦这么忧愁呢？惠州又不在天上，步行即可到，这样吧，我为你传书问讯。”卓契顺硬是凭着一双脚“涉江度岭，徒行露宿，僵仆瘴雾，黧面茧足，以至惠州”（《书（归去来辞）赠卓契顺》）。苏轼非常感动，问卓契顺有没有什么要求，他回答：“如有要求，我不会现在来找你。”苏轼过意不去，一再追问，卓契顺想了一会儿，说：“从前颜真卿在江淮间粮尽时，鄱阳一小校蔡明远前去送米接济他，颜公爱怜他，写一幅字送给他，凭着这幅字，天下人至今还知道有蔡明远这个人，他因此得以留名。我虽然没有米送给你，但我经过了万里跋涉，你也给我写一幅字吧。”苏轼欣然答应，他虽自谦“独愧名节之重，字画之好，不逮鲁公”，还是认真为卓契顺书抄了一份陶渊明的《归去来辞》，“庶几契顺托此文以不朽也”。卓契顺的目的看来达到了。
苏轼经过官场上多少次的大起大落，升降沉浮，又由于精研佛、道，现在对祸福生死已看得很透，他决不会对目下的惠州之贬哭天抢地，悲愤交加，相反他总是适时调整自己，做到信然自得。一首诗《纵笔》：
白头萧散满霜风，小阎藤床寄病容。报道先生春睡美，道人轻打五更钟。
据说这首传到京城，宰相章惇看到诗后。
于是在绍圣四年二月，把苏轼调离惠州。到天涯海角的儋州去吧！
章惇将苏轼贬逐于此，就是要将苏轼迫害致死。
苏轼到儋州后，在给皇上例行的谢表中说：“并鬼门而东骛，浮瘴海以南迁；生无还期，死有余责。”他已经作了最坏的心理准备。
儋州生活条件难以想像。当地黎族人以薯芋、老鼠、蝙蝠、蛤螟等为食。儋州太守张中对苏轼不错，让他住在一处破旧的官舍里，这房子年久失修，到处漏雨，苏轼有一次一夜迁移三次。章惇听说苏轼住在官舍里，立即下令流放之人不许住官舍，于是苏轼被赶出了官舍。苏轼幸而当地群众的帮忙，在盖房时，太守张中也亲自帮他干。在桄榔树下盖了几间屋，得以栖身。张中竟因优待苏轼而被朝廷革职。
章惇对苏轼迫害并没有到此为止。在苏轼到儋州不久，他曾打算派吕惠卿的弟弟吕升卿和董必去岭外刺杀苏轼，后遭反对作罢。他于是派董必去岭外察访，走到雷州，随行的彭子民因同情苏轼，流泪劝阻董必：“人人都有子孙，这样赶尽杀绝是要受报应的。”董必有所醒。感悟，于是没再过海。刺杀苏轼。
苏轼的生活为换得衣食，他连酒器都变卖了，只剩了一只小巧的荷叶杯不舍得出手。为了吃饭，他恳请太守给他一片地耕种，他还想像谪居黄州时那样自食其力，现在他已是60多岁的老人，亲自下地劳动，其艰难。他的幼子苏过这时陪伴着他帮忙。
面临难以忍受的威胁，苏轼的心里很坦然，没有一丝畏难恐惧。从惠州南下时，他在路上碰见被贬居雷州的弟弟苏辙，他还与弟弟开玩笑：“莫嫌琼雷隔云海，圣恩尚许遥相望。”他劝弟弟：“平生学道真实意，岂与穷达俱存亡。”意思是平时学佛道真心实意，并不是升平时的点缀，真到了困厄之时难道就做不到心胸豁达了吗？苏轼的确能够站在较高的立足点上超脱地对待现实。苏轼刚到儋州时在杂记中写道：
吾始至南海，环视天水无际，凄然伤之曰：“何时得出此岛也？”已而思之：天地在积水中，九洲在大瀛海中，中国在少海中。有生孰不在岛者？譬如汪水于地，小草浮其上，一蚁抱草叶求活。已而水干，遇他蚁而泣曰：“不意尚能相见尔二’小蚁岂知瞬间竟得全哉？思及此事甚妙。
苏轼这种得之于道家的独特思路在使苏轼在位居高官时不得意忘形，身遭厄运时不绝望沮丧。
苏轼元符二年，又作3首《纵笔》，其中第一首：
寂寂东坡一病翁，白头萧散满霜风。小儿误喜朱颜在，一笑那知是酒红。