在歷史記載中楊貴妃曾經兩次被唐玄宗遣返回家，一次是因為爭風吃醋，一次是為了警告楊家。
歷史記載里，在天寶五載七月，楊貴妃因為“妒悍不遜”的罪名被唐玄宗趕回了娘家。
唐玄宗在得到了楊玉環之后，不改自己風流的本性，在宮里專門設了一個職業，叫作“花鳥使”，專門負責去民間尋找各種美女然后送進后宮。唐玄宗喜歡新鮮，雖然整日和楊貴妃在一起也很快樂，但是在膩歪之余還是會背著楊貴妃去召幸這些女人。
楊貴妃發現了很多次唐玄宗背著自己偷腥，十分吃醋，就與玄宗大吵大鬧，前幾次玄宗還會安撫她，后來也生氣，認為妃子竟然管起了皇帝，簡直是不像話。于是，在一氣之下，下令將楊貴妃“攆回去”。
楊貴妃回了娘家，唐玄宗經過了最開始的惱怒又很快覺得后悔。在貴妃回去的當天，就趁著夜色，將貴妃從楊家接了回來。在正史《舊唐書卷五十一》里記載：“五載七月，貴妃以微譴送歸楊銛宅。”
天寶九年，楊貴妃又一次被唐玄宗遣送回了娘家。這次的原因是玄宗想用這件事給日益囂張的楊家一個警告。
這件事的起因是因為楊貴妃受寵，楊家的勢力日益顯赫，不僅楊家的男丁們被封官，女子也被封了誥命。隨著楊家的地位的升高，楊家的人開始飛揚跋扈起來。
楊家自己的人越來越不遵守規矩，憑借外戚力量還公開收受賄賂。他們將自己的地位擺的比皇室還高，《新唐書》中記載過
皇上的親妹妹在與楊貴妃的三位姐姐見面的時候，只能讓座，不敢與她們平起平坐。唐玄宗的女兒信成公主曾經和楊家人發生矛盾，楊家的人敢直接將公主和駙馬暴打一頓，最後還是公主主動認錯了結此事。
玄宗知道了楊家的種種行為后，也很生氣了，就將楊家所依仗的貴妃攆回了家，算是給楊家一個警告。
