孟子说：“如果建筑高大的宫室，一定要让工头寻找巨大的木料，工头找到了，君王高兴，认为他称职。后来工人把巨木锯小了，君王发怒，认为他能力不够，太不称职。
“一个人从小便学习治国大道，希望到壮年做官时派上用场。君王却对他说，让他抛弃所学照君王的意思去做。试想这能行得通吗？好比一块未经雕琢的玉石，价值虽然很高，但一定要经过玉匠的雕琢才行啊。谈到治理国家，君王却说：‘你把所学的一套都抛开，按照我的意思去做。’那和硬让玉匠按您的意思去雕琢玉石有什么两样？”
孟子借着大兴土木的话题谈论治国要举用贤人的道理。但宣王始终没能领悟，也许他是故意装糊涂。总之事实是孟子每次的建言献策，都未被采纳。所以孟子感觉没有再待下去的必要了，但一时还找不到离去的借口。
很长一段时间，孟子都没有与齐王见面。有一次，孟子正想去谒见齐王，恰巧齐王派人来告诉孟子，说：“寡人本想去见老师，但因身体不舒服，有点怕冷畏风。如果你愿意进宫，寡人就勉强抱病登朝，不知道能不能再和你见面呢？”
孟子告诉来人说：“很不巧，我也有病在身，不能去朝廷里了。”
第二天，孟子要到东郭大夫家去吊丧。弟子公孙丑认为有些不妥。他说：“昨天君王派人来召见，老师托辞有病，今天却去吊丧，恐怕不太好吧。”
孟子说：“昨天有病，今天好了，为什么不去吊丧呢？”
孟子刚走没多久，齐王便派人来探视孟子病情，同行的还有医生。孟子的堂兄孟仲子只好应付说：“昨天君王召见，恰巧他有点儿小病，不能遵命朝见，今天病稍微好了一点，就赶着去朝廷了，不知道到了没有？”
说完，孟仲子便连忙私下嘱咐家人分别到路上拦截孟子，叮嘱他千万不要回家，赶快去朝见君王。
孟子不便回家，但又不愿去朝廷，没办法，只好躲在了另一位大夫景丑家，晚上便在他家歇息了。景丑知道情况后，对孟子的做法表示不满。
他说：“在家里父子关系最亲，在外面当然是君臣关系最重。父子以慈爱为主，君臣以敬重为主。我见君王对您很是尊敬，却没有见你对君王有什么恭敬的表示。”
孟子说：“唉，这话怎么说，齐国没一个人向君王进言仁义的道理，难道他们不喜欢仁义之道吗？认为仁义之道不好吗？其实他们心里想的是，跟这种人讲什么仁义呢？这么说来，对君王最不恭敬的，应该是这些人啊。至于我呢，除了尧、舜治理天下的道理外，别的都不敢讲给君王听，所以，在齐国，没有人比我更恭敬君王了。”
景丑说：“我不是这个意思。《礼记》上说：‘父亲有事召唤儿子，儿子要快速答应。如果君王召唤，臣子不要慢慢地等车马驾好才走，要赶快前往应召。’你呢，听到君王的召唤，反而躲避不去，似乎与《礼记》上所说的不合吧。”
孟子说：“哦，《礼记》上说的，难道就是这桩事吗？从前曾子说：‘我赶不上晋、楚两国的财富，但他有财富，我有仁道；他有爵位，我有义理，我还有什么遗憾和不满足的呢？’曾子这番话，难道是随便说说的吗？这里面当然是有它的道理存在的。天下普受尊敬的有三种人：有爵位的、年龄长者、道德高尚的人。在朝廷上，爵位最受尊敬；在乡里，年长的人最受尊重；至于辅助君主、治理百姓自然要以道德为上。怎么能因为有爵位就轻视年长的人和忽略了道德呢？所以，古时大有作为的国君，一定不会随便召唤臣子的，如果有事想要跟他商量，就会亲自到他那里去，这说明国君是尊重德行和喜欢道义的。如果不是这样，那就不值得和他有所作为了。所以，商汤对伊尹，是先向他学习，再命他为臣的，于是没费多大气力就称王于天下了。齐桓公也是先像管仲学习，然后任他为臣，所以没费多大气力就称霸诸侯了。
“现在，天下各国，土地大小都差不多，行为作风也不相上下，谁也没有驾凌在谁之上，原因就是国君们都喜欢听话的臣子，希望臣子来受教，而不愿受教于臣子。商汤对伊尹，桓公对管仲，都不会随便召唤。管仲这样的人，尚且不能随便召唤，何况是不屑于做管仲的人呢？”
可见孟子对齐王很不满，他已经把他的不满表达出来了，说明他离去的心也越来越坚定。他向弟子慨叹道：“齐王的确不聪明，但我也不奇怪，即使最容易生长的植物，如果暴晒一天，再冻它十天，也无法顺利生长。我很少和齐王见面，但是当我退居在家时，经常与他接近的是那班谄佞小人，虽然我能让他善心萌芽，但是又有什么用呢？就拿下棋来打比方，虽然只是个很小的事情，如果不能专心致志地去学习，就掌握不了诀窍，自然无法取胜。弈秋是全国的下棋高手，让他教两个人下棋。其中一个人专心致志地学习，把弈秋所说的话，全都牢记心头。另一个人虽然也在听，但是心里却在想天上也许会飞来雁鹅，想要拿弓箭把它射下来。虽然两个人一同向弈秋学棋，后者的成绩一定比不上前者。是他不聪明吗？当然不是，只是专心与不专心的区别而已。”
前面曾提过，齐国的国都设有稷下馆，各方名士、学者慕名前往的络绎不绝。所以稷下馆内可以说是人才济济，盛极一时。里面有位名叫淳于髡的人，博文强识，滑稽善辩。他曾两次提问责难孟子，但是都被孟子机智的滔滔雄辩给挡回去了。
淳于髡问孟子：“男女之间不能用手直接授受物品，这是合礼的行为吗？”
孟子说：“不错，是合礼的行为。”
淳于髡又说：“如果自己的嫂子掉进河里，该不该用手直接去拉把她救上来呢？”
孟子说：“眼见嫂嫂掉进河里而不去援救的人就是没人心的豺狼。男女不直接用手去授受物品，这是礼法；用手援救掉在河里的嫂嫂，这是权宜措施啊。”
于是淳于髡转入正题，郑重地问：“现在天下百姓已沉陷在如洪水般的暴政里，老师却拘守常道，不去援救他们，这是为什么呢？”
孟子说：“天下的人民遭受水淹般的痛苦，就要用仁义大道去援救他们。嫂嫂掉在水里，只需用力拉一把就可以了。你难道让我放弃仁义大道，用双手去援救他们吗？”
孟子的意思是要用正道济世，不能行权宜之法。
孟子决心要离开齐国时，淳于髡又责难孟子说：“先追求名利功劳的人，是为了造福大众；把名利功劳放在后面的人，是为了保住自己而已。老师位列三卿，上没有匡正国君，下没有济助人民，就准备辞职而去，难道仁人都是这样做的吗？”
孟子说：“伯夷曾经情愿做一个平民，而不愿意用自己的贤才侍奉不贤的国君。五次到商汤那里，五次被推荐给夏桀的，是伊尹。柳下惠不厌弃卑污的国君，不推辞小官职。这三人虽不同道，但他们的归趋是一致的，那就是仁道。君子所求的，也不过是仁道罢了，何必一定要行为相同呢？”
淳于髡又说：“鲁缪公时代，公仪子执掌国政，子柳、子思等人做臣子，但是鲁国的土地却越发被别的国家侵削得厉害，贤人对国家是毫无益处的吗？”
孟子说：“虞国没有任用百里奚，结果国家灭亡了，秦穆公任用他却称霸了。这么看来，不用贤人就会亡国，想要像鲁国那样只被侵削一点土地还能存在的情形也还办不到呢。”
淳于髡说：“从前卫国人王豹住在淇水地方，因他会唱歌，使得淇水西边一带的人也都会唱歌。齐人绵驹住在高唐地方，因他会唱歌，使齐国西部的人也都会唱歌。齐国大夫华周和杞梁的妻子，因哀伤痛哭他们战死的丈夫，改变了齐国的风俗。所以，如果一个人内有学问，外面也会表现出来。但是白白做了一件事而没有绩效的，我还从来没见过。所以我认为现在还没有贤人，如果有的话，我一定会知道的。”
孟子说：“从前孔子在鲁国担任司寇时，没有受到鲁君的重用。后来他跟随鲁君举行祭祀，连祭肉也没有分到。于是，孔子连礼帽都没来不及脱就走了。不知道的人，还以为孔子是为了祭肉的事；知道的人，则认为鲁君对他没有礼貌。其实真正的原因是，孔子在鲁君收受齐国赠送的女乐时就想走了，因自己身处父母邦国，不愿暴露君上的大过失，另外借了一个较为轻微的小过失走了。当然，孔子是不会苟且离去的，而没有分到祭肉就成了最佳借口。君子做的事，本来就不是众人所能了解的啊。”
淳于髡是站在现实的功利立场，故意嘲讽孟子的理想主义。孟子对他的刻意挖苦，给了有力辩驳，也在责难淳于髡不识仁贤。贤人的作为，岂是一般人所能了解的？