衛玠的第一個妻子是尚書令樂廣之女樂氏，第二任妻子是征南將軍山簡之女山氏。
衛玠的第一任妻子樂氏很早就去世了，征南將軍山簡見到衛玠，非常欣賞他。山簡對衛玠說：“在以前戴叔鸞嫁女的標準，是只嫁給賢能的人，不看重地位高低，何況衛氏可是權貴門戶有名的人啊！”于是把女兒嫁給了衛玠。
衛玠從小就表現出了異于常人的特質，容貌更是美麗的不平凡。他的祖父衛瓘曾說衛玠注定會成長成一個出色的人物，只遺憾自己年紀大了，等不到他長大成人的那一天。歷史記載衛玠年少時曾乘車到街上去玩，看到他的人都感嘆這真是玉雕琢而成的孩子。
等到衛玠長大，出色的容貌和過人的才華讓他成為了遠近聞名的人，大家都爭相來與衛玠見面。他的舅舅曾經感嘆過，自己和衛玠走在一起，自己就像在明珠旁邊的石頭一樣不起眼，可見衛玠確實是姿容高于常人很多。
可惜衛玠最后早逝，年僅二十七歲就病逝了，他的妻子也沒有后續的記載。
