阎敬铭官做得很大，人却长得很丑。他未中进士之前，以举人“大挑知县”，主挑的亲王一见他，就暴喝一声：出去！原来大挑知县，首先就看相貌，“国”字脸第一，“田”字脸第二，此外“甲、由、申”字脸，也都有入选的希望。而阎敬铭的脸却上尖下锐，形如枣核，两眼一大一小，身不满五尺，形容猥琐。后来胡林翼保举他，下的八字考语即是“气貌不扬，而心扬万夫”。光绪八年，他内召大用，出任户部尚书，其时正逢李鸿章南下，张树声北上，俱是声势浩大，仪从煊赫，阎敬铭却是布衣破车，行李萧然，静悄悄进得京来，看上去若寒门老儒。
阎敬铭理财，以为除弊即是兴利，他到户部的第一天，就对几个把持公事、劣迹多端的司官和书办宣布解职。他一向节俭，看到掌管银库天平的史松泉华衣锦服，大为不悦，认为仅看服用，就知其贪赎。于是当堂检验砝码，果然查出他重进轻出，侵吞库银。户部的许多内幕，逐渐被他揭出，最骇人听闻的，是以户部侍郎署理尚书的王文韶和军机大臣景廉，因为牵涉到云南军费报销案中，传闻受了巨贿，最后被阎敬铭弄丢了官。一上来，慈禧太后是很看重阎敬铭的，对他大刀阔斧揭露弊端，整顿财政，十分满意，甚至有一次君臣议事，竟脱口称他为“丹翁”。阎敬铭字丹初。这一声“丹翁”，令群臣谔然。但阎敬铭这人，生性俭朴、憨直，与慈禧太后的精明奢华，太过隔膜，所以终不为其所喜。他职掌户部时，慈禧太后要修圆明园，他上折力阻，说什么“治以节用为本”，让慈禧太后很不高兴。待到醇亲王去找他商量，还未曾张口，他就抢先道：“修园子，我户部没钱！”是这般的没眼色，怎么能做皇家的财政部长呢？说起来，太后“以天下养”，连天下都是人家的，又何况修座园子？他喝酒常以“半空儿”下酒，“半空儿”指筛下来的瘪花生，价钱便宜，剥下来的花生壳也舍不得扔掉，丢进火盆里留烤火。自己如此节省，却在短短三年多的时间里，给户部积攒下了几百万两银子。这钱他不敢让慈禧太后知道，怕她拿去挥霍掉，偷偷藏在另一处库房里。户部多年以来，都是千疮百孔，入不敷出，满朝的官儿，做梦也想不到，阎敬铭能在他们眼皮子底下，攒下这么大一份家私。他到户部以后，信任两位姓李的司官，都是翰林出身，一个叫李用清，一个叫李嘉乐，也都和他一样，出了名的俭省。李用清的母亲去世，他回家守制，三年期满返京时，居然从原籍山西平定州，背着一个小铺盖卷儿，徒步三千多里进京，不雇一车一骑，京里大小官员诧为千古奇事。李嘉乐更出奇，为了省钱，回回都让他太太给他剃头，剪得囫囵半枣，怪模怪样，惹得同僚们在背后大出他的洋相。阎敬铭对这俩人，却很欣赏，以为做官必从一个“俭”字着手，才能做到“无欲则刚”。
光绪九年，慈禧面前的大红人孙毓汶，密谋策划了一个军机全班尽撤的大政潮，恭王原先的一班人马，全被赶了下去。其时阎敬铭圣眷正隆，慈禧太后就让他进了军机。但张树声的儿子张华奎却说，这是在一缸活泼可爱的金鱼中，放进了一条黑鲤鱼，形容他与其他几位军机大臣的格格不入，十分形象。清朝军机权重，相当于今天的政治局常委，但阎敬铭后来却四次上折，要求辞去这一职务。正因为家风儒素，子孙们都能自立，自己又随时准备挂冠归去，阎敬铭的户部尚书才能一无瞻顾，当得懔然有正气。
阎敬铭真是个好官。
《清史稿·列传二百二十五·阎敬铭》：
敬铭质朴，以洁廉自矫厉，虽贵，望之若老儒。善理财，在鄂治军需，足食足兵，佐平大难。及长户部，精校财赋，立科条，令出期必行。初直枢廷，太后颇信仗之，终以戆直早退云。
胡思敬《国闻备乘》：
敬铭为户部尚书时，每晨起入署，日晡而散，司员上堂取诺，穷诘再三，必尽其底蕴乃已。随身自备一册，视文牍要语伏案手自抄之。腹饥，市烧饼二枚，且啖且抄。勤劬耐劳苦，虽乡村老学究不逮。