晏子从府里出来，当面向他道歉：『以前我只看见了你的外表，如今才真看出了你的心志。请你给我改正的机会。』说完后马上下令洒扫除尘，撤几改筵，摆出丰盛的酒席，采用隆重的仪式，对越石父以礼相待。
晏子在路上遇到一个落魄的士人，名叫越石父，便为他赎身，让他随自己回家。到了府门口，晏子没有打招呼就进去了。越石父生气了，当即要求断绝关系，晏子很奇怪。越石父说：『我听说，士人在不知己的人那里会遭到委曲，在知己的人那里会得到伸扬，而有道德的人既不会因为有功于人就轻视别人，又不会因为别人有功就委身别人的道理。我三年来给人作奴隶，就是由于没有人能了解我。如今你把我赎出来，我本以为你是了解我的。但前些时候你乘车而去，不向我告辞，我还以为你是忙中忘记了。今天又是不辞而入，这就同把我当奴隶的人一样了。我既然还是一个奴隶，那就请把我带到别处去卖掉吧！』
晏子做齐庄公的臣子，庄公不喜欢他，饮酒时下令召晏子来。晏子到了，刚进门，庄公就命令乐人奏乐歌，歌词是：“算了算了！寡人得不到喜悦啊，你来做什么？”晏子入座，乐人连续三次演奏这首歌曲，然后晏子才明白这是说的自己。于是就离开坐席，面向北坐在地上。
庄公说：“先生跟我一起坐吧，为什么坐在地上呢？”
晏子回答说：“我听说打官司的人要坐在地上，现在我将与君主打官司，怎敢不坐在地上呢？我听说，人多而不讲道义，恃强而不讲礼仪，喜好勇力而厌恶贤德的人，祸患一定会落到他身上，说的就是像君主这样的人。况且我说的话不被采纳，希望君主允许我辞职离开这里。”于是快步走回去了，把锁在家中的东西全部拿出来交公，把在外的财产拿到市面上卖掉，说：“君子有力量为百姓办事，就晋爵加俸，不推辞富贵；无力为百姓办事就辞官寄食他乡，不厌恶贫贱。”于是步行向东方而去，在海滨耕田种地。过了几年，齐国果然发生了崔杼杀死庄公的祸乱。