不过，李豫天性仁德，还在灵武的时候，李泌便看出来了。李豫登基之后，将李泌请出衡山，并将大明宫蓬莱殿作为李泌休息的寝宫。朝中大事，地方节度使的任命，李泌都能说得上话。不仅如此，李豫提议给李泌娶老婆，李泌还真答应了。李豫和李泌的关系，已经超越了君臣界限，这让元载醋意满满。
有一天，元载对李豫说道：“陛下，臣经常看到李泌去北衙禁军，和当年的好朋友一起聊天喝酒，他难道不知道鱼朝恩当初搞的阴谋吗？”
李泌？不怀好意？搞阴谋？
李豫有种哭笑不得的感觉，不过还是耐着性子解释道：“北衙禁军的将领和先生都是好朋友，是朕让他去喝酒的。至于处置鱼朝恩，先生还出了大力呢。以后千万别再说李泌心怀叵测的话了。”
然而，元载似乎已经走火入魔，根本听不进李豫的警告。随后，元载又安排了一批党羽弹劾李泌。此时，李豫在心里已经给元载判了死刑。考虑到元载党羽众多，李豫给江西观察使魏少游打了个招呼，让李泌去做江西判官，一来以退为进，迷惑元载，二来保护李泌的周全。
要扳倒元载，必须有人敢出头，李豫想提拔几个有骨气，敢说话，敢做事的朝臣进入朝堂，可还没有行动，成都方面就传来了好消息。