处理完善后工作，林则徐又开始着手加强边防的警备力量，裁汰冗员和老弱残兵，年年更换防卫的将领，以免形成割据一方的势力。年迈的林则徐，雷厉风行的办事风格丝毫不亚于当年，经过一番整顿，地方上终于又恢复了平静。
在林则徐担任云贵总督期间，他的妻子赶到云南和他相聚，于道光二十八年（1848年）病死在云南。林则徐心痛至极，仿佛受了很大的打击，从此健康状况一天不如一天。这么多年，林则徐一直没有像其他官员那样三妻四妾，夫人去世之后就一个人生活，后来有一天，老仆带来一位姓缪的姑娘，这位姑娘一心想要委身林则徐做妾。林则徐坚定地拒绝了，最后这个姑娘声泪俱下地说：“先父误犯军法，大人明察恕其不死，一直无以为报，深感遗憾。他老人家临终时遗命小女伺候大人生活，如果无法完成父亲的心愿，那我只有一死以谢亡父！”林则徐无奈只得答应，从此这位姑娘照顾林则徐的起居生活，倒也是一位体贴的红粉知己。
岁月无情，让林则徐走遍大半个中国的道光皇帝也老了，他明白林则徐的忠心和廉洁，始终把各种重任交到他的头上，甚至有升林则徐为一品大员的打算，无奈林则徐已经请辞十余次了，再留他在官场就是强人所难了，于是道光这一次批准了他的请求，准他告老还乡。
林则徐从昆明起程时，云南百姓悉数前来送行，场面很是壮观和感人。只有真正为民着想的父母官，才会受到百姓真心的拥戴。数万人焚香载酒，眼含热泪地拥在林则徐的马前依依不舍。云贵交界处的岩壁上到处都刻着林则徐的种种德政，百姓的爱戴让林则徐感激涕零，很是欣慰。
林则徐在离开这个沉浮了多年的官场前，曾对他的僚属殷勤寄语，他传授了自己的为官心得，也表达了自己对未来的担忧：
“治理边陲，公勤仁明威五字缺一不可。守法能公，勤则可以消弭小祸。唯有大吏，才可以做到‘仁、明、威’三者兼具，使众心翕服。以我治滇不到三年所花费的心力，充其量可以维持十年的平靖。十年以后，就难以预料了！”
林则徐和道光的关系十分微妙，道光对林则徐的倚重也夹杂着很复杂的心理，所以他不愿面对林则徐，林则徐也始终未能与皇帝再见一面。林则徐内心的悲哀都流露在了他的诗中：
除书频添姓名标，自入关来未入朝。
谬向蛮方开节镇，又闻洋舶逞天骄。
澜沧昨夜枭声革，珠海何年蜃气消。
病榻呻吟犹未了，残灯孤枕警中宵。
为国求贤
林则徐一直都认为，自己能够有机会为国尽忠，都亏了张师诚的提携。能为国家物色人才，一直都是林则徐的愿望。所以在辞官之际，林则徐更加注重人才的培养，除了提拔张亮基之外，胡林翼也是很受他器重的一个人。
胡林翼是个很自负的人，曾经说过：“才者无求于天下，天下当自求之。”而此人也确实是有些才华，很懂兵略，还成为了陶澍的女婿，在父亲死后一直过着隐居的生活。林则徐从陶澍那里得知此人很有才华，自打返回中原后就开始极力推荐他。林则徐的赏识感动了胡林翼，最终决定不再隐居，走上仕途。后来胡林翼做到了湖北巡抚，同样不遗余力地提拔有用之才。而历史上著名的能臣左宗棠就是通过他最终被林则徐赏识的。
陶澍和左宗棠是儿女亲家，因此左宗棠和胡林翼也有着一层姻亲关系。开始，左宗棠的仕途很不顺畅，在湖南巡抚张亮基的府中做事，郁郁不得志，胡林翼就向林则徐推荐左宗棠，说他才堪大用。
左宗棠也是一个颇为自负的人，但对林则徐却格外敬重。道光二十九年（1849年）九月，林则徐在三子的陪同下，扶着夫人的灵柩，由云南前往长沙。林则徐虽然是福建人，但是湖南朋友很多，众多文武官员都等着和林则徐见面，但是林则徐一看到左宗棠的拜帖，就立刻谢绝了其他人的邀请，单独请左宗棠入内吃饭。当时左宗棠不过是一个37岁的举人，林则徐的礼遇让他大感意外，也许是紧张的缘故，左宗棠竟然失足掉入水中，旁人将他从水中拉起，换上了一身干净的衣服。
这是一次历史性的交谈。湘江水流湍急，林则徐命人把船驶向幽僻的岳麓山下。船上主客言谈甚欢，林则徐的三个儿子陪侍在左右，这一场宴会一直持续到天色拂晓，左宗棠依依不舍地上岸，林则徐等人继续航行。
林则徐深感自己年事已高，想要为国效力也是心有余而力不足，此时他最大的心愿就是为国求贤，能够给更多的人提供报国的机会。如今他的朋友有些早死，如龚自珍，有些不得志，如魏源、姚莹等，他想要给国家推荐一位少壮派的后起之秀。当胡林翼再三向他推荐左宗棠“才堪大用”时，他就把此事挂在心上了，左宗棠熟悉兵法，林则徐对他期许很深。
林则徐在过去的六年里一直任职于西北、西南边陲，虽然他也时刻关注着中原的动向，但是他想要听一下中原人士对于时局的深层次的分析。这是一次推心置腹的长谈，林则徐和左宗棠着重讨论了“西北边疆”的问题。林则徐足迹遍布新疆各地，亲身经历及所见所闻都比其他人丰富，也就格外重视提防俄国人的种种阴谋和野心。林则徐把他的心事和新疆的情形坦然告诉左宗棠，并把自己收集的资料交付给他，希望左宗棠能够继承他的事业。林则徐的赏识和嘱托，让左宗棠感到肩负重任，以致日后左宗棠坚决反对李鸿章的亲俄抗日政策，不遗余力地投身西北。
得到了林则徐的赏识，左宗棠立刻就被许多人刮目相看，从此平步青云，身价百倍。后来他在黄冕那儿听到林则徐去世的消息，不禁悲从中来，失声痛哭。仅仅是湘江长谈之后的三百余日，左宗棠与他的伯乐便阴阳两隔。
林则徐逝世之后的第三十五年，左宗棠已是闽浙总督，有人要出版林则徐的三十七卷《政书》，邀请左宗棠写序。左宗棠怀念起当年，感慨万千：
军书旁午，心绪茫然，刁斗严吏，枕戈不寐，展卷数行，犹仿佛湘江夜话时也！
留名青史
正所谓无官一身轻，辞官的林则徐乘船顺流而下，在风景如画的南昌百花洲过年养病，在湖波万顷的湖面上一边观光，一边与老友相聚畅谈，心情格外舒畅。道光三十年（1850年）三月，满头白发、饱经风霜的林则徐终于回到了老家福州，看看自己，已经是“儿童相见不相识，笑问客从何处来”了！
过去的几十年里，林则徐东奔西走，行遍千山万水，每到一个地方就造福一方百姓，受到百姓真心拥戴。命运也许给了他许多的不公，但是他都勇往直前，不改初衷。在鸦片战争前，他为了国家为了人民而承受了多方压力，鸦片战争后，一些居心叵测的小人又对他中伤指责，最后被派遣边疆，但是他忍辱负重，壮志不改，以年迈之躯重又建功立业，造福了千秋万代。他曾自道：
已成头皓白遑问口雌黄
林则徐屡次遭人陷害，但他完全不把这些恩怨放在心上，因为他不为功名利禄，只求问心无愧。虽然道光至死也没有召见他，但是他始终不忘道光曾经对他的知遇之恩。在他刚回到福州的时候，就传来了道光驾崩的消息，林则徐黯然恸哭良久。他设灵祭拜，感叹三十年来的君臣之交。
道光当朝三十年，林则徐也在这三十年里贡献了一生的精力。对林则徐而言，道光是赏识器重他的人，也是使他抑郁受挫的最根本的原因。没有道光，也就没有林则徐跌宕起伏的一生，但是道光也一手造成了林则徐的悲剧，他有举贤任才的眼光，却没有择善固执的决心，如果没有他曾经的动摇，也许林则徐会有更大的建树。如果道光相信林则徐所提出的“能战方能和”的原则，大清王朝说不定还有一次中兴。
福州城内文藻山的林则徐故居中，悬挂着他自拟的对联：
郊原雨足云归岫 台阁风清月在天
退隐后的林则徐过着平淡而温馨的生活，儿孙承欢膝下，满门朗朗的读书声让他感受到一种久违的平静。他还兴致勃勃地发起了“亲社”，教导族人的孩子们读书作文，在书香和孩子们的笑声中怡然自得。在这里，林则徐不再是那个曾经叱咤风云的一代人杰，只是一个和蔼可亲、诙谐有趣的老公公。
福州已经成为了通商口岸，林则徐也时常为没能赶走英国人而遗憾。但是依照约定，英人只能够居住在城外，可他们却偏偏选中了位于城中半山腰的积翠寺。那里环境清幽，古松夹道，林则徐还曾经对这里进行修葺。积翠寺是福州名胜，天气晴好的时候，城中百姓常常来此游玩，看朝岚暮霭，山色凝碧。而如今这份享受被英国人独占了，百姓十分愤慨，推举地方缙绅向官府抗议。
地方官哪里敢得罪洋人，无奈之下只好去请林则徐出面。林则徐早就看不惯这些胆小怕事的官员，不能为民请命，还百般迁就洋人，他毫不犹豫地挺身而出，同那些英国人据理力争，要把他们赶出积翠寺。
闽浙总督刘韵坷和福建巡抚徐继畲知道后吓得冷汗直流，他们害怕英国人会发兵来攻，打算上奏请示朝廷。中国官员们都惧怕林则徐，而那些英国人更惧怕林则徐，都知道他是鸦片战争中的头号强敌，丝毫不敢怠慢，马上答应迁出，百姓为之大喜。
百姓纷纷称赞林则徐，让当局的两位大官相形见绌，他们为了给自己开脱，想以此事中伤林则徐，但是新登基的咸丰皇帝却不买账，他盛赞林则徐为乱世的中流砥柱、国家的坚固长城。咸丰的登基使得穆彰阿的势力大减，大学士潘世恩趁机力荐林则徐，嫉忌贤才的穆彰阿为此大为不悦，一再强调林则徐的健康状况已经不适合出仕，但咸丰对他的话不予理会。
当时林则徐两腿肿胀，行动困难，已经无法行跪拜礼了，但他的精神状态却很好，说话也不含糊，思路清晰。
当年九月，著名的广西金田起义爆发，在洪秀全和杨秀清的带领下气势不断壮大，林则徐听闻此事后指出：
“粤匪之乱，只要皇上派一位有威望的将帅前往消弭兵乱，应不致于蔓延太广，这也是国人之福了。”
没过多久，就有人向咸丰推荐派林则徐前去平乱，咸丰立即封林则徐为钦差大臣兼广西巡抚，赶往广西平定战事。穆彰阿不想看着林则徐有东山再起的机会，还想要从中破坏，不料引起咸丰大怒，将他革职永不叙用。
还在病中的林则徐勉强支撑着驰往广东，一时间广东百姓奔走相告，额手称庆。林则徐在广东的号召力无人能敌，许多仁人志士都组成志愿军等待着为他效力，也有许多乱党得知林则徐的到来而慌不择路地弃城逃跑。
林则徐连夜赶路，导致旧病复发，体力越来越虚弱，儿子林汝舟一直在旁边劝父亲好好休养，辞了这个钦差大臣的职位，林则徐却固执地说：“两万里冰天雪窖的漠地我都走过了，现在还怕什么？”
林则徐时刻谨记着一句话：“苟利国家生死以，岂因祸福避趋之。”只要有一口气在，他都放不下国事，只要民生一日不安，他就一日不能释怀，就这样靠着意志撑到普宁，终于在行馆中突然大叫三声：“星斗南！”就猝然去世了。
没有人明白林则徐临终前大叫的三声“星斗南”是什么意思，也许是星相学上某种凶兆，让他难以安心地离开。不管怎样，林则徐的突然去世，对大局都有很不利的影响。当时有谣传，说林则徐是死于别人的谋害。《南亭笔记》中记载，有人涂毒在轿中的扶手板上，林则徐感染了空气中的毒气而最终身亡。林则徐一走，太平天国逐渐壮大，成为清政府的心头大患。
各地百姓听到林则徐的死讯都纷纷失声痛哭，通城缟素，每天都有数千人到行馆祭拜，而上天似乎也在为林则徐致哀，广东一连几日浮云蔽日，天地间阴沉沉的一片，只听见海风不停地呼啸。
清军在太平军的攻打下连连败北，太平军一路东南，逐渐占领了大半个东南沿海。这次起义堪称是中国农民起义的最高峰，轰轰烈烈席卷了半个中国，清政府竭全国之力，耗时十四年方才平定。如果林则徐能够继续平定叛乱的话，说不定历史就会是另一番景象了。
林则徐的去世是清政府莫大的损失，咸丰下旨为他举行隆重的葬礼，追赠太子太傅，谥号文忠。在福建、江苏、云南、陕西等地都建有林则徐的祠堂。民国政府还为他在虎门筑立铜像，他的名字和精忠报国的形象将永垂不朽。为了悼念林则徐，咸丰皇帝还特意书写了一副挽联：
答君恩清慎忠勤，数十年尽瘁不遑，
解组归来，犹自心存君国。
殚臣力崎岖险阻，六千里出师未捷，
骑箕化去，空教泪洒英雄。