武则天已经萌生了自己当皇帝的念头，借故将唐中宗李显废黜，扶持另一个儿子李旦为唐睿宗。而武则天则紧紧地把权力抓在自己手中，努力实现自己称帝的梦想。在平息了徐敬业和李氏诸王的叛乱后，为了进一步为即位做好准备工作，武则天大兴告密之风，起用酷吏，用暴力手段清洗各类对自己不利的势力。整个唐王朝笼罩在一片恐怖气氛之中。武则天还伪造祥瑞、篡改佛经，积极创造女主天下的舆论，并蓄意培植自己的势力，为称帝做铺垫。
李治这么一死，“二圣”就剩下了“一圣”，自然是武则天说了算。皇帝李显当时已经28岁，完全可以亲政。可是武则天是不会轻易将权力交给他人的，就是自己的儿子也不行。
李显在没当皇帝之前就领教过母亲的手腕，而且被迫害的对象就是自己的王妃赵氏。赵氏的母亲是唐高祖李渊最小的女儿长乐公主（赵氏和李显看来是堂兄妹，有点近亲婚姻啊），很瞧不起出身并不高贵的武则天。特别是武则天控制李治来掌握国家大权，她看着更加不顺眼。长乐公主带着女儿赵氏趁着进宫看望重病在床的李治，经常说一些对武则天不满的话。这些话很快就传到了武则天的耳朵里。武则天自然不会轻饶了她，很快就借故将长乐公主和夫君一起贬到括州（今浙江丽水），也顺便废黜了赵氏王妃的身份。这还没完，武则天还把赵氏关在大狱里不给饭吃，赵氏最后被活活饿死。后来长乐公主两口子也被武则天诛杀。
不过李显似乎对于自己前妻和岳父岳母的死无动于衷，既不难过，也无怨言，也许是夫妻俩人的关系确实不怎么样。赵氏死后，李显将一个妾韦氏升为王妃，这就是后来的韦后。韦氏家是关陇大族，出身显贵。韦氏不但人长得漂亮，而且争强好胜，是个有主见的女子，而这一点正是李显所缺乏的。韦氏立为王妃后，李显对她疼爱有加，言听计从。等到李显当了皇帝，韦氏自然成了皇后。
弘道元年（683）十二月十一日，李显即位，下诏次年改年号嗣圣。683年对李唐王朝来说是不寻常的一年，这一年就连续改了三次年号——嗣圣、文明、光宅。敢情李治死了以后，爱改年号的毛病却留了下来。但这一年改年号更多的却是出于无奈，别说李显掌控不了局面，就连武则天有时也是迫于无奈。
李显当上了皇帝，韦氏也蠢蠢欲动，非要李显提拔自己的父亲韦玄贞。这个也无可厚非，让自己的岳父沾点光也没什么，于是李显将韦玄贞从一名小官升为豫州刺史。可是韦氏还不满足，要求李显再升父亲的官职。李显也是属于耳根子软的人，没办法，就想提韦玄贞为侍中。等到李显与大臣们商议此事时，当时的中书令裴炎认为韦玄贞并无大功，这样火箭般地提升确实不太妥当。李显做了半天思想工作，就是说服不了裴炎。李显越说越急，竟然对裴炎说道：“我是天子，只要我愿意，把天下送给韦玄贞又怎么了！”估计当时真是逼急了，李显才说出了这样大逆不道的话。裴炎一看李显真急了，自己也拿他没办法，不过有人能治得了李显。裴炎立马去找武则天，把李显的话原原本本地告诉了她。武则天一听，这还了得，才当了几天的皇帝就这样放肆，心中于是产生了废帝的想法。
二月初六，武则天在乾元殿召集文武百官，裴炎等人带领御林军也进入宫中。等到李显来了，一看就傻眼了，开个会怎么这么大的场面？不容李显多说，武则天当即宣布废除李显皇位，改封庐陵王。李显一时转不过弯来，问：“我有什么罪啊？”武则天厉声呵斥：“你想把天下让给韦玄贞，还能说无罪？”李显顿时哑口无言，说了句气话就被罢免了，才做了四十多天的皇帝，连皇位还没坐热乎就要挪窝了。二月初七，李显的弟弟李旦被立为皇帝，这就是唐睿宗，并改元文明。
李显被废后，一直和韦氏被幽禁在冷宫里，失去了人身自由，韦玄贞等亲属被流放到了岭南。境遇一落千丈，李显整天愁眉苦脸，自怨自艾。幸好这时候身边还有韦氏。虽然对李显而言，沦落到这个地步，完全归罪于这个好胜的女人，但此时埋怨韦氏也丝毫于事无补，而且这时候韦氏是唯一能陪自己度过昏暗日子的人。韦氏也领教了婆婆的强势，学会了低调，在别人的阴影下怎能不低调！韦氏还经常教育李显不要显露怨恨的情绪，唯有忍耐才能期待机遇的到来，如果不这样可能永无出头之日，甚至招致杀身之祸。可以说，韦氏坚定的性格是支撑李显走过那段黑暗时光的最直接动力。
其实武则天本想也像前两个儿子一样除掉李显，但可能是鉴于李显的懦弱无能，也可能出于对已经杀害两个儿子的内心愧慊，最终留下了李显这支血脉。随后武则天下令将李显一家流放到均州（今湖北郧阳）。武则天不是简单地惩罚李显，为的是消磨他的意志、让他畏惧自己。所以李显没走到均州，就接到了诏书，要再迁往房州（今湖北房县）。
房州是个贫瘠的地方，人烟稀少，生活极其困苦，但是毕竟自己还活着，李显默默地承受着一切。韦氏虽然有孕在身，但是迫于生活，只好自己一个人承担一家人的吃喝拉撒睡，也难为了这位曾经的皇后。真是没有吃不了苦、只有享不了的福。
有了精明的韦氏持家，李显的日子还算能过下去。后来韦氏生下了一个女儿，但是当时困窘得连一套婴儿的衣服都做不起，李显只好把自己的衣服给女儿裹用，所以女儿的名字就叫做李裹儿。在那样艰难的日子里，这个女儿无疑给李显和韦氏带来了仅有的欢乐，因此夫妻两人对女儿疼爱有加。而恰恰是这种溺爱，造成了李裹儿成为安乐公主后的骄横跋扈，这是后话了。