「牛刀」は、牛を解体するときに使われる包丁のこと。
「焉んぞ」は、「どうして」の意味。
小さな鶏を切るのに、どうして牛刀を用いる必要があろうかというところから。
孔子の弟子である子游は、孔子の教えである礼楽（礼儀と音楽）を忠実に守っていた。
子游が小さな町の長になった時、町に音楽が響くのを聞いた孔子は微笑み、国政の基本として教えた礼楽をこの小さな町に適用していたことに対して、「鶏を割くに焉んぞ牛刀を用いん」と冗談を言ったという話に由来する。
また、子游は小さな町の長におさまる器ではなく、一国の宰相となるほどの人物であったことからという説もある。