奉天危在旦夕，敌箭已及御前三步而坠，德宗终日惶惶。这时，朔方节度使李怀光率军驰援，在澧泉大败朱叛军。朱闻讯，急忙引兵退归长安，遂解奉天之危。“众以为怀光复三日不至，则城不守矣。”李怀光是性情粗俗之人，自山东发兵前来解围，沿途数与人言及卢杞、赵赞等奸佞，并且说：“天下之乱，皆此曹所为也！吾见上，当请诛之。”李怀光解了奉天之危，自矜其功，以为皇上必以殊礼来接见他。正在这时，有人向赵赞、王翩告密说：“李怀光一路上愤叹不已，认为卢杞谋议乖方，赵赞赋敛繁重，王犒赏苛薄，致使皇上逃难奉天，乃“三臣之罪”。若让李怀光入朝见驾，宰相等岂不是要大祸临头吗？”王翩急忙告知卢杞，卢杞内心分外恐惧，但表面上却镇定如常，经过一番思谋，他上奏德宗说，李怀光立了勋功，乃社稷之依靠，应当赐宴犒赏，可是，这样一来就得逗留几日，给叛军返归京都留下了充足的准备时间，到那时恐怕就难于攻破京城了。德宗认为卢杞所言极是，诏李怀光引军屯便桥，与其它兵马会合后，共取长安。李怀光知道被奸臣所排挤，乃屯兵咸阳而不进发，并且数次上表揭露卢杞等人罪恶，众论喧腾，朝野共议，皆将兵变之责、失都之罪归咎于卢杞等。12月、德宗迫于不得已，只好将卢杞贬为新州司马，赵赞贬为播州司马。
贞元元年（785年）正月，卢杞遇赦，移吉州长史。卢杞得意地对人说：“吾必再入。”意即皇帝还会重新启用他，他将东山再起。果然，德宗要任命卢杞为饶州刺史。给事中袁高奉命拟诏书，他对宰相卢翰、刘从一说：“卢杞为相三载，致使皇上迁往奉天，海内满目疮痍，望二相能上奉，执意劝阻此事。”卢翰、刘从一执意反对重用卢杞，德宗便改换中书舍人草拟诏书。诏书成，袁高不予下发，并上奏：“卢杞穷凶极恶，百姓视之如寇，六军思食其肉，怎么能再用呢？”德宗不听。补阙赵雷、陈京等人又上疏，力陈“偿加巨奸之砣，必失万姓之心”的道理。德宗说：“不是已将卢杞赦免了吗？”袁高说：“只是赦免其罪，不可田为刺史。”陈京等人力争说：“卢杞为政，百姓犹如刀在其颈；今若复用，奸党都会唾掌而起。”德宗大怒，斥退众臣。陈京对众人说：“此乃国家大事，当以死争之。”德宗怒气稍减，又与宰相李勉商量：“让卢杞当个小州刺史，还不可以吗？”李勉说：“陛下若想用他，让他当个大州刺史亦可，只是失望于天下啊！”德宗最后答允了袁高所奏，诏卢杞澧州虽驾。2月，卢杞在澧州所结束了罪恶的一生。
卢杞为相三载，恶贯满盈，朝野共愤。然而，他为何能受到德宗的信赖和重用呢？其一，卢杞善于伪装，外饰俭简，内藏奸邪。其二，卢杞能言善辩，善于揣摸帝意，投其所好，竭力媚主。卢杞既骗取了德宗的宠幸，又玩弄了德宗的皇权。