伯牙的老師是春秋時期著名的琴師成連。
《樂府解題》里曾經記載過伯牙學琴的故事：伯牙學琴于成連先生，三年不成，至于精神寂寞，情之專一，尚未能也。成連云：“吾師方子春今在東海中，能移人情。”
伯牙跟隨成連老師學習彈琴三年，但學了彈琴的技法，卻沒有彈琴的神韻。成連老師希望伯牙可以有大成，不希望伯牙只做一個樂師。成連先生就對伯牙說：“我的老師方子春在蓬萊，我們去拜訪他，請教一下讓你進步的方法，”
于是：“乃與伯牙俱往。至蓬萊山，留宿伯牙曰：“子居習之，吾將迎師。”劃船而去，旬日不返。伯牙近望無人，但聞海水洞滑崩澌之聲，山林寂寞，群鳥悲號，愴然而嘆曰：“先生將移我情！”乃援琴而歌。曲終，成連回，劃船迎之而返。伯牙遂為天下妙矣。”
師徒二人到了蓬萊之后，成連先生對伯牙說“你在這里等著，我去尋師傅。”然后就一去不返了。
伯牙在等待師傅的時候，聽到波水濤濤，山林寂靜，但群鳥悲號，發現大自然竟然有如此神奇的聲音，不禁激發了他的創作靈感，就譜寫了一曲《水仙操》。
最后成連老師回來的時候，伯牙已經找到了自己音樂里的神韻，可以說是成連老師的教育方法成就了伯牙。
