广州战败，道光火气首先发到了林则徐与邓廷桢身上，6月28日，道光下谕：“前任两广总督邓廷桢，屡任多年，懈惰因循，不加整顿，所设排练，空费钱量，全无实用……前任两广总督林则徐，经朕特给钦差大臣关防，办理广东事件，继复令其实授总督，全省军务，皆其统辖。既知兵丁染习甚深，便应多方训导，勤加练习，其于夷务也当德威并用，控驶得宜，乃办理殊未妥协，深负责任。……著革去四品卿衔，均从重发往伊犁，效力赎罪。即由各该处起解。”（《筹办夷务始末·道光朝》第二册，中华书局1964年版，第1055－1056页）从道光的文辞里，我们能发现，道光对邓廷桢的怨气，仅是嫌他所设排练费钱无用。而对于林则徐，道光的着眼点仍在“衅起林则徐”之认识上，认为他没有德威并用，控驶不得宜。
1841年7月14日，林则徐满腔悲愤，从浙江镇海起程，1841年8月，路过镇江，与老友魏源相见。想起十年前在宣南诗会上的褒衣博带雅歌投壶，再想想现在的夷务纷扰罪臣之身，当然是感慨唏嘘，不能自已。这次相见最重要的果实就是林则徐把自己在广州主持翻译的《四洲志》及有关材料交给魏源，让他继续编著。之后，林则徐继续前往新疆，魏源回到扬州闭门谢客，发愤著书，编就了50卷本的《海国图志》，1843年初刊，1847年刊出60卷本，1851年刊出100卷本。按说，《海国图志》写成后，最先反应的应该是林则徐，但奇怪的是，找不到这方面的任何资料。不知是林则徐早已忘记此事，还是听说后不予重视，甚或本有表示，但资料无从找到。
林则徐赴新疆的路上，拐了一个弯儿。黄河在开封祥符决口了，林则徐既有治河经验，又写过有关水利著作，当然是合适的人选了。于是，道光一纸诏书，把林则徐改发开封效力赎罪了。与此同时，皇帝着素来看重林则徐的大学士、军机大臣王鼎前往祥符督办河工。林则徐与王鼎合作愉快，林则徐甚至希望河工一完，自己告老还乡养老去。而王鼎的意思，是希望借河工之事，按往常惯例，对林则徐论功行赏，不能重新起用，至少可以将功折罪吧。但是不愉快的消息从前线不断地传来，英军扩大了战事，闽、浙战事失败，林则徐的好友裕谦身亡，奕经的大反攻也宣告失败，道光的怒气仍然发在了林则徐身上，大堤胜利合口的同时，道光新的谕旨也下来了：着林则徐继续前往新疆伊犁效力赎罪！
1842年12月10日，经过一年近四个月的奔波，林则徐终于到达了自己的充军地：伊犁惠远城。前来迎接他的是曾经的战友、现在的难友、一同发往伊犁先他半年赶到的邓廷桢和伊犁参赞庆辰。在两人的陪同下，林则徐到伊犁将军布彦泰处报了到，布彦泰给林则徐的差事是“掌粮饷处事”。但林则徐作为南人，不耐寒冷，竟致体弱多病，不能视事。在布彦泰的关照下，林则徐干脆不视公事，专作休养了，和邓廷桢等难友吟个诗作个赋下个棋，日子倒也过得不错。
1843年8月1日，效力伊犁的邓廷桢被道光皇上加恩释放入关，这触动了林则徐的思归之情。他私下里算计，邓廷桢比自己提前半年到达充军地，那么自己的归期当在明年春夏。伊犁将军布彦泰等人更是力邀林则徐搬到邓廷桢原先租住的寓所去，说：这三四年来，住此屋者，都被诏回了。林则徐遂搬住进去，但等来的不是加恩入关，而是令往南疆开荒去。能被皇上想起，并被起复使用，对林则徐来讲，也算是一个惊喜了。那就开荒吧。就这样一开两年，1845年10月29日，道光皇上降旨，同意释放林则徐，着回京以四、五品京堂候补。12月20日，兴冲冲赶到玉门县的林则徐再次接到道光谕旨，命令他不必来京，以三品顶戴先行署理陕甘总督。看来道光不想再看到他了。1846年8月，林则徐改任陕西巡抚。虽然仕路复兴有望，但林则徐病体难支，一直想告老还家，还想去北京看病，但是皇上不准。1847年，道光又让林则徐担任云贵总督，从陕西再跑到云南，林则徐的身体折腾得够呛。1849年10，林则徐请病回家的请求被道光批准，1850年4月，林则徐终于回到了他梦中的故乡——福州。
此时他的故乡正在沦陷之中。南京条约第二款规定：“自今以后，大皇帝恩准英国人民带同所属家眷，寄居大清沿海之广州、福州、厦门、宁波、上海等五处城邑，通商贸易无碍。”英国驻福州首任理事李太郭前来福州设立领事馆，但认为城外房屋条件太差，提出去城内租住白塔寺。此时刘韵珂接任闽浙总督，福建布政使徐继畲办理夷务，两人密商：和约内所谓的“城邑”系兼指城内城外，但我们不妨只准其在城外开馆。于是两人暗中授意士绅联名请愿，拒绝英人入城内。
英国驻华全权公使德庇时到福州访问，对此提出抗议，刘韵珂怕违背道光皇上“民夷相安”的指示，加上李太郭于1845年1月私向城内乌石山积翠寺租住城内房屋，福州士绅并无动静，更无一人出面阻止，遂不得不对此表示同意，同时指示徐继畲与李太郭签个条约，规定：惟领事馆可以租住城内，其他夷商俱住城外港口，并且租房的时候需送地方官用印，不得私租。双方这样交涉，也算有话好好说，但是，民夷相安的局面维持的时间并不长久，因为民夷杂住一块，最易起冲突。先是福州民人林森森与英人阿金的冲突引起群殴；后是民人误打英商记连和他的通事；再是通事碰破了民人的酒瓮，民人前往商馆评理，通事施放鸟枪恐吓，却误伤两个行人，民众涌入商馆，殴伤黑人一名，哄抢洋人货物……一切都乱套了，政府出面查办，民众认为官方将就夷情，刘韵珂官声顿减，甚至有人画漫画，刘在像中“为夷人啖屎”……福州当时发生的这些事，友人王庆云曾写信告知远在外地的林则徐，说：夷人入城，福州干脆成“腥臊之窟”了，徐继畲曾想联合士绅阻止英人入城来者，奈何议论多，成功少，如果有一人有声望，有方略，使官民都听他的，夷人可能就老实多了。
不知王庆云是否把林则徐当作那有声望、有方略的人了，但知林则徐给当时的福建巡抚郑祖琛写了信，说：“海滨瘠壤，民间已不聊生，况有物鼾睡于旁，人心何能安定”？（来新夏：《林则徐年谱》，上海人民出版社1981年版，第407页）可见，林则徐是反对英人入城的。待林则徐回到家乡，福州正好又发生了一件事，英国驻福州领事官翻译、代理领事金执尔代传教士札成和医生温敦向乌石山神光寺租屋二间，侯官县令兴廉未加拒绝，在租约上给其盖印。
对此，林则徐不想沉默，联合士绅书写公呈质问侯官县令兴廉，并缮写公启责侯官县转致夷官。在后一封信中，林则徐吓唬英人：福州十万人民也能像广州人民那样组织义民义勇反对英夷入城的。此后，福州的大街上出现了“某日定取夷人首级”的小字报。面对这种天朝特色的地方恐怖主义，金执尔两次跑到巡抚衙门控诉并请求保护，徐继畲认为以文人之词恐吓英夷，不但无益，实恐有损，遂哄英夷到城外居住，哄书院生童勿再给自己找事添乱，并且密派兵役，于神光寺附近弹压巡防，防止民众突然来个杀夷大行动。林则徐呢，联合士绅上书徐继畲，要求调兵演炮，招募乡勇，备战备荒。徐继畲当然要拒绝了，林则徐无官一身轻，想提前开启第二次鸦片战争呢，但是徐继畲吃不了就得兜着走了。作为福建布政使，他治下的厦门与福州都属开放的五口之列，两地的夷务稍有差错，他吃不了兜着走。与林则徐一样，徐继畲首先是个清官，其次才是个能吏。特别是对管理地方夷务的他，道光曾专门交待过：“不可致生夷衅，亦不可稍拂民情。总期民夷两安，方为不负疆寄。”（乖，又是一个两难选择）所以，林则徐所提议的“调兵演炮募勇”等对外挑衅的姿态，徐继畲不同意。
他没想到，退休在家的林则徐利用他的官场余威及余荫，活动开了。林则徐煽动在京的福建籍官僚，让他们通过言官与皇帝对徐继畲施加压力。
林则徐的能耐还真是不小，在他的忽悠下，翰林院侍读学士孙铭恩、湖广道御史何冠英、工科给事中林扬祖纷纷上书，弹劾刘韵珂、徐继畲“庇护汉奸”、“不知是何居心”！京城这么一施压，新做皇上的咸丰随即数次发谕旨责刘韵珂和徐继畲详细汇报福州的实情，徐继畲当然知道这一切都是林则徐搞的鬼，但人家是革命元老，自己在官场上出道不久，涉水不深，弄不过对方，所以气哼哼地给在京的堂兄写信发牢骚，说：“巨绅林则徐”，“意在沽名，急欲驱逐”。（杨国桢：《林则徐传》增订本，人民出版社1995年版，第590页）而自己的意思是，目前英夷正在挑衅生事，我们即使反对英夷入城，也得从缓图之，背地里图之，免得给英人提供借口，招致英夷来攻，则大为失计。至于刘韵珂，在给咸丰的奏对中说得更是干脆：“臣与徐继畬不肯调兵演炮募勇，有违数绅之意，即远近传布。而言事者，但知情关桑梓，不顾安危之大局……”最后向皇上表态：自己“断不为喜事沽名之数绅所摇惑”。（《中国近代史资料丛刊·第二次鸦片战争》第一册，上海人民出版社1978年版，第125页）