最先知道李用清的名字，是在高阳的小说中，说他回乡丁母忧，三年期满后，居然从原籍背着一个小铺盖卷儿，不雇一车一骑，徒步三千多里进京，令天下读书人震惊。但《清史稿》上说的是，同治十二年他父亲在京里去世，李用清亲扶灵柩返葬，徒步三千余里，未雇一车一骑。不知道是高阳记错了，还是本来说的就不是一回事。他的老家山西平定州乐平乡杜庄，今属昔阳县，地处太行山西麓，沟壑纵横，山势险峻。今天，北京至昔阳的全程高速401公里，不过半天的车程，但在旧时，却要翻山越岭，迂回曲折，走上好几个月。
在清人笔记中，李用清多称李菊圃，菊圃是他的号。古人三十以后以字行，也有的人是以号行。古人的名与字，不是一回事，《颜氏家训》上说：“名以正体，字以表德”，也就是说，“名”是代表一个人的存在，而“字”则代表一个人的品行，是一种社会符号。三十在古人，是一个重要的年龄节点，所以孔子才说“三十而立”。三十以后，以字行于世，是对自己的鞭策，也是一种自信。
李用清是阎敬铭看中的人，阎在户部尚书任上时，引他为腹心。户部职掌国家税赋，每天过手的银子，动辄数百万两，因此户部的官员，才格外要求品行端庄，廉洁自律。阎敬铭是晚清名臣，因为廉洁奉公，连慈禧太后都要礼让他几分。李用清也是翁同和看中的人，翁的清廉也是有目共睹的。光绪三年，李用清以记名御史的身份奔赴山西襄助赈务，著有《山西办赈牍》四卷。发生于光绪初年的华北大旱，史称“丁戊奇荒”，又称“光绪大祲”，波及山西、河南、山东、陕西、河北五省及苏北、皖北、陇东、川北等地区，持续四年之久，死亡人数逾千万。山西在受灾诸省中，灾情尤为严重，朝廷一面派钦差大臣到各地稽查赈务，一面派大批官员襄助赈济，而在钦差大臣阎敬铭会同山西巡抚曾国荃共同奏报的“恳请调员襄助山西赈务”折中，第一个提到的就是李用清。李用清到任后，没有像其他襄办官员一样坐镇指挥，而是骑着一头毛驴，带着一个仆从，遍及山西二十多个州县，先后到过运城、闻喜、曲沃、翼城、浮山、岳阳（今安泽）、沁源、屯留、凤台（今晋城）、长子、陵川、壶关、高平、长治、潞安、阳城、沁县等地。山西沟壑纵横，道路崎岖，途中常有脚夫伤亡，车马倒毙。加上灾情持续四年之久，夏有烈日炎炎，冬则雨雪载途，令赈灾变得异常艰难。灾后，他“自出廉俸购粟万石，以备荒歉”之用，同时严禁种植罂粟，教百姓改种五谷。他还在各地修渠凿井，以减少旱灾影响，由他个人捐“廉俸”修筑的三元县龙渠，灌溉良田数千亩，在当地传为美谈。
然而李用清对自己，却非常苛刻，人送绰号“天下俭”。李慈铭就曾在日记中，以十分轻慢的口气，讥讽他“文字拙陋，一无才能，惟耐苦，恶衣食，捷足善走，盖生长僻县，世为农氓，本不知有人世甘美享受也。”所以“捷足善走”，指的就是他不雇一车一骑，从山西平定州徒步进京。这个李慈铭，有时候很是惹人烦。其实相比于穷京官的李慈铭，当了多年地方官的李用清，更有条件享受“人世甘美”。他历任过的广东惠州知府、广东布政使、贵州布政使并署理贵州巡抚、陕西布政使等职，都是肥缺，布政使相当于今天分管财政的常务副省长，署理巡抚相当于今天的代省长，而李用清基本上是一介不取。他在贵州巡抚任上时，他的夫人在旁边的小屋里生孩子，因为没有雇请接生婆，失血过多而亡。他和夫人的感情很深，很伤心。下面的人为了安慰他，就买了一口比较好的棺材，李用清嫌太浪费了，让他们换成一口薄棺。不幸的是，夫人还未及下葬，孩子又夭折了，仆人要去置办一口小匣子，李用清连忙制止，遂让人打开夫人棺木，把孩子放进去一同安葬。
这已经有些不尽人情了，因此被一些人骂为“假道学”。但想想那些“太太死了压断街”，借丧葬大发其财的贪官们，李用清之俭之廉，实在是令人心生畏惧！他生于道光九年（1829）十月初三，卒于光绪二十四年（1898）二月初二，享年七十岁。光绪二十四年，岁在戊戌，是一个动荡的年份，他死时不知是不是闭上了眼睛。
《清史稿·列传二百三十八·李用清》：
光绪三年，记名御史。会山西奇荒，巡抚曾国荃、钦差大臣阎敬铭奏调用清襄赈务，骑一驴周历全境，无间寒暑，一仆荷装从。凡灾情轻重、食粮转输要道，悉纪之册。深穷病源，以为晋省罂粟花田弥望无际，必改花田而种五谷，然后生聚有期，元气可复，上书国荃详论之。国荃疑晋新荒，禁烟效缓，且全国未禁，徙敛怨，说竟不行。赈竣，却保奖。还京，传补御史，引见有日矣。
徐珂《清稗类钞》：
光绪初年，有“天下俭一国俭”之谣。“天下俭”者，为李用清，其自山西原籍起复入京时，徒步三千余里，未雇一车骑。及抚云南，则日坐堂皇理事，夫人即居其旁之小室。将产时，不雇接生媪，既产，遂毙。其仆怜之，为市棺，稍昂，以为费，令易薄者。已而子亦死，仆又为市小棺，叱曰：“安用是！”乃启夫人棺纳之。
《清代之竹头木屑》：
天下俭者，为李公用清。相传其自原籍复入京时，徒步三千余里，未雇一车骑，都下闻者，咸大惊怪。