潘安與妻子楊氏十二歲訂婚，終身相愛，楊氏逝世后，他終身沒有再娶，歷史上也留下了“潘楊之好”的千古佳話。
潘安的妻子楊氏閨名楊榕姬，是西晉名儒楊擎的女兒。楊擎作為潘安父親的朋友和潘安父親小聚，見到十二歲的潘安，非常賞識這個少年，就與潘安父親定下了這門親事。婚后兩人舉案齊眉，一起生活了二十多年，夫妻感情非常深厚。但也許是造化弄人，楊榕姬不幸早亡，潘安對此悲痛不已，一生也沒有續娶，這放在男子三妻四妾都是正常現象的古代可以說是非常少見的事情了，由此也可見潘安的用情至深。
眾所周知，潘安不僅有出眾的相貌還是個出色的文學家，而他的悼亡詩是中國文學史上悼亡題材的先河之作，而他的悼亡詩范疇僅限于悼亡他這位結發妻子——楊榕姬。三首《悼亡詩》也是中國最早的哀悼亡妻之作。潘安在這些詩里寫著：“如彼游川魚，比目中路析”，意思就是夫妻兩個人一人先去了，就好像比目魚分開了一樣，大家都知道比目魚是象征夫妻恩愛的魚，潘安用分開的比目魚來比喻自己失去妻子的痛苦和不舍，更顯情真意切。
