元代白朴的杂剧《梧桐雨》则说，安禄山进入宫廷后，因与杨贵妃有暖昧关系，被杨国忠察觉而奏明玄宗，安禄山被逐出宫外，改封渔阳节度使，去镇守边关。安禄山离开后，杨贵妃日夜思念，心生烦恼。安禄山起兵的一个重要原因是“单要抢贵妃一个，非专为锦绣江山。”
《唐史演义》中描写说，“禄山与贵妃鬼混一年有余，甚至将贵妃胸乳抓伤。贵妃因恐玄宗瞧破，遂作出一个诃子来，笼罩胸前。”这“诃子”是唐代贵妇中流行的一种无带内衣，也相传是杨玉环为掩饰所伤之乳而发明的。
最要命的还不在于此。司马光《资治通鉴》卷216中竟然也记载有“贵妃洗禄儿”事，说是杨玉环用锦绣做成的大襁褓裹住安禄山，让宫女用彩轿抬起。唐玄宗还亲自去观看“洗儿”并予赏赐。又说“自是禄山出入宫掖不禁，或与贵妃对食，或通宵不出，颇有丑声闻于外，上亦不疑也。”
司马光也倾向于杨玉环与安禄山有私情，但又说玄宗“却不怀疑”。唐玄宗知道杨贵妃与安禄山通宵鬼混，但又毫不怀疑，这堂堂唐明皇岂不成了一“白痴”。其实，杨贵妃与安禄山私通之说当属坊间八卦传闻，从诸方面都难圆其说。
首先是正史上毫无记载，就连暗示也没留下一点。司马光《资治通鉴》所记也是依据野史，不足证信。《资治通鉴》本是用来警示皇帝的“警示教育”片，或许司马光觉得这“杨安恋”实在是个难得的“噱头”，弃之可惜，便腆着老脸放进了“正史”。
