教诲
尽管潘祖荫历任工、刑、礼部尚书且为军机大臣，但他好藏书，精金石，工诗擅书，兴趣广泛。且为人豁达诙谐，风趣幽默。
某天潘祖荫到徐相国徐桐处拜访，正好碰上徐桐在孜孜不倦地教诲着他的学生。徐桐教育他们，做人要讲立身循礼，一定不要近女色去妓院，长篇大论，滔滔不绝。潘祖荫听了好半天，就在一旁搭话：这个不须太担心，现在这些学生大部分没什么钱，即便当了京官也都比较穷，谅他们也拿不出那么多的钱去逛妓院。哪像当初咱们，我和老同年你，整天到处寻花问柳，千金买笑的壮举，那才是叫痛快无前呢！
潘祖荫一边说着还一边叹息，徐桐在一旁听着也不好阻拦，脸上阵青阵白，尴尬之极。
本来就可笑
潘祖荫比较节俭，不乘轿而乘一骡车，而驾车的白骡子已经很老了，潘祖荫也舍不得换。某雨天，道路泥泞，走到宣武门外，车子陷在泥坑里出不来了。看见前面有辆车，忙喊住，原来是潘祖荫的一个下属，又是过去的学生。那学生要把车让给潘祖荫，潘祖荫说什么也不答应，非要坐在车前辕子上，再退让就不坐车步行了，结果那学生只好同意。
自从骡车陷入泥坑，那头白骡子就不能驾车了，于是潘祖荫只好乘轿。轿夫又不熟练，某天走到前门就把潘祖荫给摔了下来，路人就笑，旁有人喝道，这人是管顺天府的父母官，你们也敢笑？潘祖荫从地上爬起来，笑着说：本来就可笑，本来就可笑。
收藏
潘祖荫非常喜欢收藏、鉴赏金石古董，五间屋子到处都放满了。某次回乡修墓，听人说某处有一古碑，于是急忙就叫人带着去看。到了以后，那碑原来在一人家床的后边。潘祖荫点了蜡烛钻进去连看带摸，弄得一头一脸的灰土，研究了很长时间，最后断定是真品，立刻给了人家五百两银子把石碑拉了回去。
曾有人送来一只汉朝的古盆，上面的花纹与篆字都非常精美，结果潘祖荫就花了三百两银子买了下来。那人趁着潘祖荫高兴，就求他给写楹联。潘祖荫一连写了两幅。
有个叫尹祝年的人，也喜欢金石学，到京城来赶考，投了帖求见，帖上自称是学生。潘祖荫说这不是我学生啊，但还是把他请了进来。这尹祝年一见面就行师生礼，口称老师，潘祖荫没办法只好含糊答应。
第二天上朝，遇见了曹殿撰，潘祖荫就说，你有个同乡到我那里去，不是我学生非说是我学生，这不是强奸我吗？
普洱茶
京城士大夫宴会，赴宴的人往往迟到，主人有候客几个钟头的，习以为常。可是到潘祖荫家赴宴的，却很少有人迟到。原因是遇见迟到的客人，潘祖荫就说你太忙，就不请你入座了，喝茶吧。潘祖荫平日极喜欢喝浓普洱茶，一天也离不开。
王八蛋潘祖荫为刑部尚书时，某天要修改一份公文，一个司员不同意那样改，两人发生了争徐飞龙紫砂彩釉汉方壶，清论。争着争着，潘祖荫说话就严厉起来。那司员非常愤怒，以为受到侮辱，就把稿子扔到地上，说谁改我的稿谁是王八蛋！
潘祖荫从容地拾起稿子，拿笔就改，一边说：我就当这个王八蛋吧。
刑部的人都替那司员捏把汗，可过了一段时间，什么事也没有。
资料来源：《清稗类钞·讥讽类》、《谏书稀庵笔记》、《苌楚斋三笔》、《凌霄一士随笔》潘祖荫（1830-1890），字伯寅，号郑盒，江苏吴县人，举人。咸丰进士，授编修。历官顺天府尹、工部尚书、军机大臣。谥文勤。