春秋时期，鲁国有个着名的音乐家，名字叫公明仪。他对音乐有极深的造诣（ｙì），善于弹琴。他的琴声优美动听，人们听到如此美妙的琴声之后往往如醉如痴。
有一年的春天，他带着琴来到城郊的田野散步，和煦（ｘù）的春风将青草的芳香吹到他的面前，让他心情非常舒畅。他环顾四周，发现不远处有一头大公牛正在吃草。他兴致勃发，突发奇想要为这头公牛演奏一曲，于是他拨动琴弦，对着这头公牛弹奏了一首高雅的《清角之操曲》。
虽然公明仪弹奏的曲子非常悦耳动听，但是那头吃草的牛儿却根本不理会那高雅的曲调，仍然低着头继续吃草。因为公牛虽然能听到琴弦发出的声音，但是并不能理解曲子中的美妙意境。
公明仪见美妙的琴声并不能打动这头不懂音乐的牛，非常无奈。过了一会儿，他又想出了一个办法。公明仪抚动琴弦，弹出一段段奇怪杂乱的声音，有的像嗡嗡的蚊蝇声，有的像迷路的小牛犊（ｄú）发出的叫声。这时候这头大公牛才像突然明白了什么似的，摇摇尾巴，竖起耳朵，听了起来。
后来，人们就用“对牛弹琴”来比喻对愚蠢的人讲深刻的道理，或对外行人说内行话，白白浪费时间；现在也用来讥笑人说话不看对象。