这则成语出自《论语阳货》：“夫子莞尔而笑，曰：‘割鸡焉用牛刀！’”
孔子的弟子子游在一个叫武城的地方当县令，尽管武城是一座小城，但是子游依然向百姓倡导礼乐之道，要求百姓们经常弹琴唱歌。
一天，孔子带着弟子们外出游历，恰好路过武城。孔子听到城中到处都有弹琴歌唱的声音，便笑着说：“杀鸡焉用牛刀？”意思是说“这样一座小城，怎能用得上礼乐之道？这就好像拿着杀牛的刀子去杀鸡一样。”
子游听后问孔子：“您以前跟我们说，统治者学了礼乐之道就会爱民如子；百姓学了礼乐之道就会谦恭顺从，便于管理。难道这个道理放在武城就不对了吗？”
孔子幡然醒悟，转身对弟子们说：“我刚刚是在跟子游开玩笑，子游说得对，你们要记住。”
成语故事可见，做事得法，才能张弛有度，这是《礼记》上说：“致乐以治心，则易直子谅之心油然生矣。”意思是说，仔细品味音乐来加强内心的修养，那么自然就会平易、刚直、宽容、诚实。由此说来，音乐的作用是陶冶心灵、提高修养，不应因地域大小而有适用不适用之分。孔子对子游的批评显然有些失当，但是，“杀鸡焉用牛刀”这个比喻还是很生动的，用杀牛刀来杀鸡，不仅显得滑稽，而且恐怕也不太顺手。由此很重要的一点。
子游问孔子
司马徽