李鹏万毕竟不同于那些不学无术，每日钻营官场的六部九卿，学识的渊深和与生俱来的善良品质，都让他自感难以适应大清恶浊的官场。尤其是尔虞我诈且又处处充满险恶的朝廷高层，对于素以国家社稷与天下黎民为重的李鹏万来说，如履薄冰。他感到京官难做，有些高处不胜寒。
清同治四年（1865年）夏天，李鹏万奉命巡视河南。一路上，他发现荒野哀鸿，枯草干枝，一场百年不遇的特大旱情正在席卷着中原大地。出身于粤东的李鹏万做梦也没有想到，古来素有中原粮仓美称的河南地面竟然一片荒芜。而河南大地恰恰就是李鹏万的祖籍。当他看到被祖辈描述为中原粮仓的故土，如今竟然因旱灾而哀鸿遍野的时候，李鹏万不禁为之落泪，甚至为之愤怒。他在中原巡视期间，一路上所见灾民如蝗，饥馑到极致的乡民大多以枯树朽枝和野花残草为粮。但再看当地的朝官：人人酒池肉林，花天酒地。两相对比，无疑形成了鲜明的对照。这一切，尤其让李鹏万激愤难忍。当他回到故里许昌的时候，所见景况更让他为之震怒。一面是乡间百姓的民不聊生，一面是当地朝官对他的百般奉迎。面对当地官员的阿谀，李鹏万曾经当面拍案指斥，并当场罢免了几个在他职权范围内可以废黜的官员。然而，李鹏万毕竟无权解决河南境内大批朝官的贪赃枉法问题。于是他回到京城之后，向慈禧递上了一道亲笔条陈，要求重罚严惩，甚至罢免河南一批重要贪官，以保证民间百姓不被天灾涂炭。
但是慈禧在接获李鹏万所上的条陈以后，批阅中对其所用之词过于激烈暗生反感。尤其是河南几位朝官多年与朝廷保持的良好关系是不容李鹏万指责的。李鹏万并不了解真情。原来，这些河南官吏在慈禧眼里都是自己的爱臣，因为慈禧太后每年的寿辰之日，大多是他们不惜财力地进贡。这些颇得慈禧爱护的高官，岂能像李鹏万条陈中所说的那样虎狼成性，鱼肉民间？如果这种充满激词怒语的条陈系普通朝官所上，慈禧太后也许会因此而怒责下去，处以贬官的严惩。可是，李鹏万毕竟是两年前在紫禁城文华殿内以妙文获得慈禧欣赏的文官菁英，所以慈禧只将此奏折退回了军机处，并没有给李鹏万治任何罪名。不过，李鹏万却因为这一条陈毁了自身的前程，从此再也没有受到慈禧的重视，坐上了冷板凳。
此后几年中，李鹏万虽然还在京为官，却很少得到慈禧的召见。之后同治皇帝驾崩，光绪皇帝登基，李鹏万始终郁郁终日，不得重用。
光绪初年，李鹏万还希望慈禧再度重用自己，却发现自家官邸内外到处都有可疑的监视者。他再看慈禧亲政以来杀人如麻，许多在咸丰时代有功于朝廷的高官，只因违逆了慈禧的圣意，一个个轻则遭到贬官，重则被绑赴菜市口长街枭首示众。李鹏万深知自己继续在京为官，非但不能对大清朝政和黎民百姓有所贡献，搞得不好，还要厄运加身。于是他在光绪五年秋天，以生病为名，向慈禧递上一道恳请回归乡梓养老的条陈。慈禧虽然从内心对李鹏万有些记恨，但毕竟爱其道德文章，接到他的请辞后，还曾遣人前往他的住处进行挽留，但是对晚清官场早已深恶痛绝的李鹏万退意已决，哪还有留京之心？于是李鹏万于光绪六年（1880年）冬天，挂冠而归，回到阔别多年的故里潮州。就是从这时起，李氏家族离开了生活多年的海阳县，迁往当时的通衢大镇潮州定居。这时的李氏家族更加烟火繁盛，凭借祖上余荫和李鹏万做过京城大吏的影响，李氏兄弟在潮州地区仍是功德无量的名门望族。李鹏万的膝下有二子，一为长子李起英，二为次子李晓帆。李鹏万在两子之中，尤其喜爱次子李晓帆。
书生后代不守旧
大清王朝的腐败让李鹏万极为厌恶，可是，他的功名思想并没有改变。在当时的历史条件下，他认为如果让子嗣更有造就，唯一的成才之路只有像他一样继续攻读，“万般皆下品，唯有读书高”是他的至理明言。刻苦读书，然后参加历年的乡试，最后考取功名。次子李晓帆被李鹏万视为可以继承其衣钵的最佳人选。
当年，李晓帆并不是李鹏万的首选之人，他曾经一度寄厚望于长子李起英。李起英从小受到父亲的耳提面命，非常刻苦。李鹏万前往京城为官期间，就把李起英带在身边，希望他也能接受京城的文化氛围，将来为进入官场做准备。后来李鹏万发现一入京门深似海，大清朝官在晚清时期几乎人人都贪污，个个都贿赂。李鹏万自此方感后悔，原来朝官集聚之地，俨然是一只偌大的可怕染缸。如果再让爱子继续生活在天子脚下，岂不是要误其一生？当初李鹏万情愿放弃收入颇丰的京官不做，毅然决然地返回粤东老家，这也是一个重要的因素。