张氏兄弟于她而言，的确是故人，却并无什么美好的回忆，所以继承了张氏兄弟美貌的杨钊对她来说，从第一眼开始就失了好感。

但她没想到，李林甫会瞧上杨钊，不仅亲自任命杨钊为监察御史，还颇有要将他纳入麾下的架势。当她发现的时候，已经是天宝五载的年末，太子宣告与杜良娣和离之时。

此事源于民间的一些流言，说太子的岳父、杜良娣之父杜有邻交结太子，诽谤皇帝。这种流言若出现在平日也就罢了，偏偏是在韦坚与皇甫惟明事件发生之后不久，李隆基正敏感的时候。