调动的时候，我的一个朋友很担心，说你那个脾气，文联这种地方怎么行？很忧虑。我从小没有母亲，在家就很放肆。后来上了大学，从19岁进校门，到38岁调出，差不多20年，身边不是同学就是老师，也是个骄纵的环境。我们系的一位研究生恭维我，说潘小平你不会得癌症，你渲泄渠道畅通，想骂谁骂谁！傅英说狗脾气狗脾气！她是天津人，我不知这话在北方话中当什么说，大约总是很恶劣的。我们研究室主任有一次被我气得摔门而出，但下了一层楼又转回来，叹口气坐下，说小潘啊你让我咋说你哩！
但我要吵当面吵，背后是不论人的。所以我常爱拿一句话堵人：你嫌我脾气不好，不要和我来往好啦！就把他们气得脸铁青。他们说不是东西——真不是个东西！然后自我解嘲地笑笑，说小潘，我们是能原谅你的。
我因此十分留恋我过去的环境。那真是粪土王侯激扬文字，上下五千年，纵横八万里——并不是真的“口不臧否人物”，从毛泽东到秦始皇，从萨达姆到猫王，我们都口有臧否侃侃而论——对大人物你只管说，我们只是不议论身边的小人物而已。毛泽东对杨开慧说：过眼滔滔云共雾，算人间知己吾与汝！我很感慨，说大缠绵啊。马上就有人反对，说缠绵什么？他和贺子珍结婚时，不是杨开慧还在牢里？但对身边某人的婚外恋情，除非他找到我，一般说来，我们是不去说他的。我对我一个想离婚的同学布道：从理论上说，彼岸没有风景！他幡然而悟，说对呀！离婚——离婚又怎么样呢？
所以来到文联之后，在经常走动的人中，就被说成狡猾。文人相轻，自古而然，这话曹丕早就说过，在文联这种文人聚族而居的地方，口说人非，臧否人物，是可想而知的。遇到这种时候，我总不说话——一是觉得，别人的事，无从说起；再就是，既是别人的事，你又说它干什么！一起聊天的人就问，潘小平你怎么不说话？我笑笑。再问，我就说你让我说什么？他们就说我老奸巨猾。我很高兴，因为在我们学校，我一向被看成少心没肺，年近不惑还被我的老师们当小孩子哟来喝去，到了文联，大家平等啦！我对我爱人说，知道他们说我什么吗？说我有城府。他斜着眼看我，说他们大概没见过你撒泼吧？我和我爱人吵架，惊天动地，我的同学纷纷赶来，却被我在楼梯口以厨房用具抵挡，不得上前。他们一边高呼小潘打架啦小潘打架啦！一边奋不顾身地冲上楼梯，然后在我家坐下，抽烟、喝酒、吃饭。
李鸿章说，局外论事易，局内处事难。我很赞成这句话。不管是为官为文为人，心术学术治术，局外人的议论，都可以放言无忌不关痛痒，而局内人却有他不可与外人道的沉重。既是这样就积点口德吧。所以遇上在一起闲聊，我不说话时，别人照例要说我有城府，这时我总是说，并非有意，口不臧否人物，不光是城府，也是修养啊。