就在代宗郁闷地逃亡之际，曾被程元振迫害或早已不齿其行为的大臣们上表。太常博士柳伉说：“吐蕃来犯，兵不血刃直闯京师，武士无人力战，这是将帅背叛了陛下；陛下疏远功臣，亲近奸佞小人，群臣不敢犯颜进谏，这是公卿背叛了陛下；陛下刚出京都，百姓就争先恐后地抢夺府库，这是三辅地区背叛了陛下；自从征召各方兵将来援，但现在已四十多天，却连个影子都没看见，这是四方背叛了陛下。如今内外离叛，形势危急，如果想要保存宗庙社稷，只有砍下程元振的头，并下诏罪己。”
面对这份义正严词的奏章，代宗无话可说，但他考虑良久，也不肯杀掉程元振，理由是其曾经保驾有功，最后他决定，将程元振削去官爵，放归田里。然而，对于引发这一切的自己，他却丝毫没有“罪己”。
在郭子仪的努力下，吐番最终撤离，代宗重新回到长安。已经被削官的程元振却不甘心在乡间就此度过残生，他相信，只要回到长安，就一定能让陛下改变心意，重新起用自己。就这样，程元振打扮成一个老妇人混进长安。没想到的是，他的形迹很快就败露了，被人告发说企图不轨，希望朝廷严办。
代宗收到消息后，倒很宽容，没有过分追究，只是下令将程元振流放溱州，没多久又下令让他在江陵安置。但是，出乎人意料的是，程元振在中途被一伙不明身份的人杀死。
程元振或许到死也没想明白：自己曾备受皇帝宠信，为何最后却死于非命？其实，代宗对他已经非常大度了，只不过作为一个国君，居然被逼逃离皇城，实在过于难看，虽然这大半是自己的责任，但自己是皇帝，总不能处置自己吧，所以必须有一个替死鬼来顶罪，程元振无疑就是这个顶缸之人。和李辅国相比，程元振幸运得多，仅仅是被削官爵、放归田里，即便后来他不死心，偷偷潜回长安，也只是被流放，而且很快就被安置在江陵生活。
不过，代宗确实是个难以琢磨的皇帝。李辅国死时，他的一番惺惺作态几乎瞒过了所有人，所以这一次程元振的死，也很难说是不是他下的手。只是程元振得势时得罪的人也不在少数，其中不乏手握重兵的节度使，当他失去了皇帝的庇佑之后，那些曾被他陷害的人的后代，可能就想取其性命，为父报仇了。总之，不管是谁杀了程元振，他都是做尽了坏事，死有余辜。
一套紫衣惹祸患
他是皇帝一度恩宠的亲信，在皇帝的纵容下，他权势熏天，几乎一手控制了京城的兵权。但正所谓“物极必反”，倘若一个人不懂得韬光养晦，在得意时忘形，最后，哪怕只是一个小小的衣服，也必定会招致杀身大祸。
宦官鱼朝恩的得宠来源于吐蕃进攻长安时，曾很好地保护了仓促出逃的代宗皇帝。代宗重新返回长安后，鱼朝恩自然就受到了特别的恩宠，他被任命为天下观军容宣慰处置使，专领神策军。神策军移驻禁中后，迅速扩充到十万，成为中央禁卫军。如此一来，鱼朝恩既总监全国军队，又亲领禁军，权宠一时无两。那么，鱼朝恩在得势之后，是否懂得树大招风、必须谨言慎行的道理呢？无人能比的势头能否保障他的一生安危呢？
人们常说小人得志，显而易见，那些稍有权势便得意忘形的人是小人，也只有小人才会在得势之后耀武扬威，忘了自己姓甚名谁。
鱼朝思由于受到代宗的宠爱，阿谀奉复的人也多了，于是他志满意得起来，很快就不把满朝文武放在眼里了。每次群臣议事时，他就侃侃而谈，无论别人提出什么意见，他都能加以驳斥，即便是以强辩著称的宰相元载，也只有在一旁洗耳恭听。
一次，大臣们照例聚会朝堂。鱼朝恩大摇大摆地坐下，他扫视了一眼众人，然后声严色厉地说：“宰相的责任在于调理阴阳、安抚百姓。如今阴阳不和，水旱频生，屯驻京畿的数十万军队缺乏给养，漕运艰难。陛下为此卧不安席、食不甘味，这个宰相是怎么当的？还不让贤、赖在那里干什么呢？”
大臣们猛然听到这番话，字字句句都针对的是宰相，而宰相居然低着头，似乎默认了鱼朝恩的指摘，众人一时间都呆住了，没有人出来接话。鱼朝恩见此情形得意极了，他暗道：“果然没人敢顶撞我，嗯，看来过不了多久，这个宰相之位就是我囊中之物了。”
过了一会儿，礼部侍郎相里造突然站起来，他不慌不忙地走到鱼朝思跟前说：“阴阳不和，五谷腾贵，这是观军容使造成的，与宰相有什么关系？如今京师无事，六军足以维持安定，你却又调来十万大军，军粮这才不足，而且还造成了百官的供应困难。宰相不过是行之文书而已，有什么罪过呢？”
鱼朝思没想到居然有人敢顶撞自己，面对相里造的反驳，他一时之间也无言以对，只得忿忿地说：“好啊！你们这些官僚结成同党，一定是想加害于我。”说完拂袖而去。
鱼朝恩被相里造顶撞之后，便暗自担心有人会陷害自己，但等了一段时间，始终没有动静，于是他又慢慢放下心来。不久，他便找了个由头将相里造免职罢官。
由于代宗笃信佛事，鱼朝恩就上奏表示：“愿将陛下赐予的一处庄园献出来，改作佛寺，为已故的章敬皇太后祈求冥福，最好是以皇太后的谥号命名为‘章敬寺’。”代宗闻言大喜，当即点头同意，并拨下巨款作为修缮费。
随着代宗的宠信加深，鱼朝恩也有了自己的心腹，在这些人的建议下，鱼朝恩在军中设立监狱，将那些城里的富人纷纷罗织罪名，抓了起来，然后将他们的私产没收。只要有人被他抓进大牢，人们就会私下哀叹道：“又有一个人‘入地牢’了，看样子是不能活命了。”
鱼朝恩还同时担任着国子监事、光禄、鸿胪、礼宾、内飞龙、闲厩等等职位，被进封为郑国公后，气焰更加嚣张了。他去国子监视察时，代宗特诏宰相、百官、六军将领集合送行。置办宴席的是京兆府，助兴的音乐则由内教坊演奏。此外，还令二百多个大臣的子弟穿着学生的衣服，站在国子监的廊下迎接。面对如此盛大的场面，鱼朝恩得意非凡。
代宗还下令赐钱一万贯作为本金放债取息，所得收入全部用作学生饮食的费用。这个先例一开，鱼朝思此后每次去国子监，都要带上几百名神策军，前呼后拥地以壮声威。而京兆府也依然照例张罗酒食，每次都得耗费数十万的钱财。
在这种情况下，鱼朝恩越来越骄横，不禁有些目空一切了。只要朝廷政事稍不如他的意，他就瞪着眼睛、怒气冲冲地说：“这天下事能有离得了我的嘛！”这话传到代宗耳朵里之后，他相当不悦，但此时鱼朝恩一手控制着禁兵，他也无可奈何。
鱼朝恩虽然是个太监，已经绝后了，但古往今来有很多太监都会收不少养子，以此作为心理上的补偿。鱼朝恩也有一个养子，叫令徽。这个小孩虽然只有十四岁，但在鱼朝恩的安排下，他已经有了个小官位，代宗还特赐了一套绿衣服。
一次，众人在殿前列队，一个职位高于令徽的黄门不慎碰了他一下，令徽马上回去向鱼朝恩告状。他哭着说：“孩儿的班次居下，被人欺负。”
第二天，鱼朝恩带着令徽面见代宗，说；“臣的犬子官品卑下，经常被同僚凌辱，请陛下赐以紫衣。”
显而易见，这是公然向皇帝要官了，而且态度非常不客气，代宗心里因此很不悦。更让他吃惊的是，自己还没有开口表态，旁边就有人抱着高级品官所穿的紫衣，送到令徽面前。
令徽赶紧穿上紫衣，然后跪拜谢恩。事已至此，代宗也不好说什么了，他挤出一丝笑容，勉强地说：“这孩子穿了紫衣，果然比原来好看多了。”虽然代宗嘴上这么说，但看得出来，他心里十分生气。
不久，那个碰撞了令徽的黄门被贬到岭南，代宗此时终于意识到：鱼朝恩权势熏天，几乎已经到了“只知朝恩，不知天子”的地步了。经过了这次不寻常的“紫衣事件”，代宗对鱼朝恩的厌恶之情如同燃烧的大火一样，越来越旺。
这时，宰相元载猜出了代宗的心思，便奏请将其除掉。代宗犹豫地说：“鱼朝思军权在握，党羽众多，倘若事情不成，后果难以预料。”
听见这话，元载胸有成竹地安慰他：“只要陛下将此事全权交给臣办理，臣保证万无一失。”
代宗点头同意，同时嘱咐他千万要小心。
元载是代宗朝著名的奸相，决非善类。他先用重金收买了鱼朝恩身边的心腹，以便掌握其动向。鱼朝思每次上朝时，总会让总川射生将周皓率领一百多人护卫，外面呼应的则是陕州节度使皇甫温，元载也千方百计地将这二人收买了过来。接着，他建议代宗令皇甫温担任凤翔节度使，表面上看似乎对鱼朝恩有利，加重了其亲信的地位，实际上则是为了麻痹鱼朝恩。
对于元载的一系列动作，鱼朝恩完全蒙在鼓里，不知祸之将至。然而，鱼朝恩在宫中的党羽却觉察到代宗有异，于是密报鱼朝恩。鱼朝恩半信半疑地试探着上朝，却发现代宗跟往常没什么区别，这下他又放下心来。
公元770年三月初十，是传统的寒食节。按照惯例，代宗会设酒摆宴，与器重的近臣一起欢度节日。宴席结束后，代宗令鱼朝恩留下议事，这个举动实在大不寻常。但此时刚刚度过了一场愉快的盛宴，鱼朝恩也没多想，便坐车去见代宗。
鱼朝恩一进殿，代宗劈头就问：“你为何大胆图谋不轨？”
鱼朝恩呆住了，有几秒钟没反应过来，但他很快冷静下来，为自己辩白。
这时，早已被元载收买的周皓与左右一拥而上，擒住了鱼朝恩，并当场将他勒死。整个事情发生的非常突然，时间也很短，而且处理得干净利落。鱼朝恩死后，代宗对此消息隐而不宣，而是下诏罢免了他的诸多职位，仅保留内侍监一职，还增实封六百户。接着，他谎称鱼朝恩“既奉诏，乃投缢”，将尸体归还其家，并赐钱六百万以作丧葬费用。
不过，尽管鱼朝恩已经死了，但他弄权多年、结党营私，有一股很强的势力，所以代宗仍担心其党羽闹事，尤其是禁军会因此骚乱。于是，他下令对其党羽亲信免于追究，宣称：“你们均为朕之属下，禁军今后由朕统帅，勿有顾虑。”对于有些官居高位的重臣，他甚至还加以升迁。
经过这一番安抚，鱼朝恩的余党才稍为安心，基本没出现大的变故。鱼朝恩在死后尚且让代宗如此煞费苦心，可见其生前是何等风头。
经过了一系列跟宦官的斗争，代宗总算吸取教训，不再重用宦官了，宦官的势力也因而暂时得到了抑制。代宗之所以重用了一个又一个的宦官，完全是因为他不信任带兵打仗的将领，但后来的结果让他意识到，这些曾在他眼里被视为亲信的宦官，在得到权力之后，仍然会威胁自身的安危，于是他只得一次次地将其除掉。其实，他不明白的是，无论什么人，一旦遇上权力，野心就会自然而然地膨胀，这与其身份地位是毫无关联的，哪怕是身体残缺的宦官。
中唐时期