《荀子·劝学篇》中有伯牙鼓琴的记载。《乐府解题》中又写到伯牙学琴的故事。伯牙生于春秋时代。
伯牙年轻时，拜成连为师，学习抚琴。三年技巧成熟，但听起来，总觉得不够高雅。他的老师对伯牙说：“我已把全部技艺教给了你。如果你想继续深造，只有请我的老师了。他住在东海蓬莱山上。如果你同意，我和你一起去。”伯牙欣然同意了。二人来到蓬莱山上，四处查找，不见人影。成连说：“你暂时留在这里，我再到别处去找找！”说完就走了。伯牙在山上等候，很长时间也不见先生回来。于是，他起身沿着山间羊肠小道漫步，不觉越走越高，索性向山峰爬去。到了山顶上，只见林幽山深，百鸟争鸣。清风徐徐，云雾缭绕，如置身仙境一般。看到这美丽的大自然景色，俞伯牙不禁心旷神怡，感到从没有过的轻松愉快。把随身带的琴拿出来，即兴演奏了一首乐曲。他觉得琴音、胜境与自己身体融为一体了。
这时传来成连的声音：“伯牙，弹得好啊！”伯牙循声音望去，只见成连在船上向他招手呢！他赶快下山到岸边去见老师，说：“您找到先生了吗？我等得好苦啊！”成连捋着胡须，呵呵大笑说“：还用请什么先生呢？你陶醉于高山流水尽情地弹奏，不是弹得地作天成吗！大自然就是最好的老师。”伯牙悟出了成连的苦心，连连躬身作揖道谢。
从此，伯牙以大自然为师，刻苦磨炼自己的意志，终于成为举世闻名的琴师。