蔡京的所作所为引起朝中越来越多官员的厌恶与愤慨。“弹劾其恶”的奏章接连不断地呈到徽宗手中。大观年间，太学生陈朝“追疏京恶十四事”，为：“渎上帝、罔君父、结奥援、轻爵禄、广费用、变法度、妄制作、喜导谀，箝台谏、炽亲党、长奔溢、崇释老、穷土木、矜远略”，见《宋史》卷472，《蔡京传》徽宗本人也深知蔡京为人奸诈，对其专横行为亦颇感不满，在执政二十多年中曾先后四次罢免其相位。不过蔡京为人机灵，善体察君意，为朝中其他大臣所不及。每次罢免他后，徽宗总是甚感不便，如同失去左右臂，只好重新恢复其职。但天长日久，徽宗对他终于厌倦了，并开始疏远他。
然而致使蔡京最终倒台的却是其爱子蔡。蔡依恃父威，言谈举止骄横霸道。朝廷众官因他是蔡京之子，遇事总迁让三分。蔡见状，得寸进尺。他迅速提拔其妻的兄长韩稆，二人串通一气，在宫中挑拨是非，陷人于罪，胡作非为，弄得整个朝廷乌烟瘴气。就连其兄蔡攸也深感他的所为太过分。时任宰相的白时中、李邦彦终不堪忍受他的专横跋扈，只得照章办事，将其告发。徽宗得知大怒，意欲降旨将他流放。蔡京知晓后大惊失色，立刻换上朝服面见皇上，极力哀求。徽宗念在昔日情面上，赦免了蔡的罪行，让他停职在家。
其实徽宗罢免蔡乃醉翁之意不在酒，而是在暗示蔡京主动辞职。蔡京久经官场，心如明镜；可是一生唯权是营的他岂肯放弃手中大权？蔡京不动声色，尽管年近八旬，仍然每日拖着老弱病残之躯亲自处理政务，上朝言事。徽宗见后，只好直接下令，命他即刻上章辞职。童贯到蔡府传旨，蔡京一见老泪纵横，颤颤微微地说：“皇上为何不容我蔡京再干几年？定有恶意中伤之人！”万般无奈之下，只得将辞章交出。
北宋是一个积贫积弱的王朝，内忧外患层出不穷。到徽宗末年，形势更加严峻。宣和七年（公元1125年），金兵分两路南下：西路军由粘罕率领，从云中（今大同）出发，东路军由斡离不率领，由平州（今卢龙）取道南京。金军来势凶猛，不久便长驱直入，渡过黄河，包围了北宋首都汴京。北宋统治者闻风丧胆，急欲求和。以赔金500万两、银5000万两、牛马万头、绢帛100万匹，割太原、中山、河间三镇为条件换取金人撤兵。
徽宗见大势不妙，早在金兵进入中原前就慌忙将帝位传给其子钦宗，自己则带着宠妃近臣们仓皇南逃，蔡京也在其列。北宋人民国难当头，对蔡京一伙更加痛恨。当时在京城汴京盛传一首童谣：“打破筒、泼了菜，就是人间好世界。”其中的“菜”，即指蔡京。
靖康元年（公元1126年），金兵再度南下。宋朝君臣因见金兵返，自以为江山无虞，社稷可保，依然陶醉在绮罗丛中，疏于防备。金兵一路势如破竹，京师再度告急。太学生陈太等人联名上书，将以蔡京为首的王黻、朱助、童贯、李彦、梁师成等六人指为“六贼”，认为他们佞奸误国，应从严处治。钦宗刚继位不久，一则想平众愤以树立自己的帝王之威，二则担心这些老臣会支持徽宗复辞，下令解除蔡京一切职务，谪居衡州（今湖南衡阳），后又将他流放到儋州（今海南儋县西北）。当时蔡京一路颠沛到南方已身染重病，知自己大限已至，正暗自神伤。又惊闻如此噩耗，又气又怒：想当初我蔡京是何等富贵显赫，谁料会落到今日之地步！他忍痛收拾行装，和家人一道行至潭州（今湖南长沙）的东明寺，便撒手人世，一命呜呼了。
关于蔡京的死也有一段传闻：蔡京还在成都任知府时，一天在药市上偶遇一位多发的妇人。这妇人如同画中的毛女一般，突然对他说了一句：“三十年后再相见！”便转身不见了。物转星移，到蔡京被封为鲁国公，以太师之职居京师时，一天，他在相国寺资圣阁下纳凉，突有一人径直走到他面前，递上一封信，说：“毛女有信。”蔡京刚接过信，此人就踪影全无了。他打开来信一看，见里面写着大大的两个字——东明。当时蔡京见后还十分高兴，认为“东明”乃向着太阳的方向，暗示他将富贵未艾。哪知这竟是他日后的丧身之处。
大凡能在史册上留名的人，不管是流芳百世，还是遗臭万年，都有自己的过人之处。蔡京亦是如此。他天资甚高，年仅23岁便中进士，且极为擅长笔墨丹青。只可惜才不胜德，一味将自己的才能放在玩弄权术之上。他善于察颜观色，见风使舵，最终得以高居相位。四度入相期间，他钳制君主，助纣为虐，党同伐异，搜刮民财，对北宋的腐朽统治起着推波助澜的作用。北宋王朝有宋徽宗这样一个荒淫无道的昏君已是不幸，加之有以蔡京为首的一帮奸臣得道当权无疑是雪上加霜。靖康二年（公元1127年），内外交困的北宋终于走向了全面崩溃的尽头：在金军南下的急促铁蹄声中，以历史上著名的“靖康之耻”宣告灭亡。