晏子当景公的相，他选择人，看到贤能的人就加以提拔，不与君主所想的苟同；看见不善的人就罢免，即使是君主宠爱的人也不回避。他自己的行为没有私心，对君主直言劝谏毫无忌讳。有人上书给景公说：“罢免与提拔人不与君主协调，这就叫做专断；在君主面前说话毫无忌讳，这就叫做轻慢。臣子有专断轻慢的行为，那么君臣之间的伦理就不存在了，我真不知道晏子怎么能算是个忠臣。”景公认为说得很对。
晏子入朝，景公言辞和脸色很不高兴，所以晏子回家以后，就准备好车马，派人向景公告辞说：“我确实年老糊涂没有能力，不敢再担当壮年人所担当的职务。”于是辞官，不再做景公的臣子，引退后居住乡间，在东海边耕田种地，院子里长满杂草，门外长满荆棘。七年之间，燕国、鲁国相互争斗，百姓恐慌不安，而家中一贫如洗；景公亲自治理国家，不再受到诸侯的尊重，王室的势力弱于高氏、国氏等卿族。景公很害怕，又把晏子召回来。
晏子回来后，景公把七年的俸禄一次归还给他，晏子全部分给贫穷的人而家中不留一点点。高氏、国氏都服从他的政令，燕国、鲁国又向齐国纳贡，小国按时来朝拜。晏子死后齐国就衰落了。