在武则天后期，由于姚崇得罪了宠臣二张，被恶意中伤，只得贬官外任。后来，姚崇协助张柬之发动兵变，逼女皇逊位，扶持中宗上台，恢复了李唐的江山。在这段时间里，皇位更迭频繁，姚崇也在这场纷乱中历经了宦海沉浮。
长安元年（701年）三月，姚崇任凤阁侍郎。四月，姚崇赴并州以北检校各军州兵马，以整顿边防，加强战备。不久兼知夏官尚书。
长安四年（704年）六月，姚崇因母亲年老多病上表，请求解职回家侍奉母亲，言辞非常悲伤。武则天不好违背他的心愿，让卸去知政事的职权，便于他侍奉母亲。这一月，又让姚崇兼掌夏官尚书事，加同凤阁鸾台三品衔。姚崇上疏说：“我正在事奉相王，不便于兼掌兵马，为臣并非怕死，恐怕不利于相王。”武则天很同意他的话，便改任他为春官尚书。这个时候，张易之请求把京城十位大德僧移到定州私设的寺庙中，僧人们苦苦诉说，姚崇决意停止。张易之屡次提出，姚崇始终不予接受。由此姚崇遭到张易之的诽谤诋毁，改官为司仆卿，知政事官职不变，让他充任灵武道大总管。
姚崇这次得罪的这位张易之，可不是一个简单人物。他是武则天末期宠幸的“二张”之一。这一切，还要从武则天的晚年说起。
武则天废唐为周，做了大周女皇帝，标志着她改朝换代的成功。但她毕竟是一个女性皇帝，而且又是史无前例的，这样从她称帝那一天起，就必然遇到一个很棘手的问题，那就是在千秋万岁后，皇位究竟是应该由谁来继承的问题。
按照千余年来传统的宗法制规定，“立嫡以长”，父死子继，这对于男性皇帝来说，倒不成什么问题，但对则天女皇来说，这就使她感到困惑了。如果她要传位于儿子，势必复辟李氏皇朝，自己不惜一切、惨淡经营的武周政权就要一世而亡，这当然是她不心甘情愿的；如果要保持武周政权，那么只能传位于她的武姓侄子，但姑侄关系总不如母子关系，而且享受宗庙血食也就成了问题。因为自古以来，宗庙祭祀都是子孙祭祀先祖父母、祖父母和父母，又有谁会祭祀他的姑母、姑奶奶呢？更何况祭祀姑母也不符合传统的礼制啊！这一棘手的问题在武则天即位之初，并不显得那样突出与重要，因为当时帝位尚不十分稳固，她要集中力量安定内外。现在国家已经安定，武则天年事已高，处于风烛残年中的女皇已经认识到，确立皇位继承人已经是刻不容缓的事情了。
在则天女皇举棋不定的时候，朝廷两派势力围绕着皇位继承权一事展开了激烈的斗争。其中一派是外戚，以女皇侄子武承嗣、武三思为首，他们千方百计地要篡夺皇太子之位，以便将来能像其姑母那样，堂而皇之地登上大宝之位；另一派势力则以大臣李昭德、狄仁杰为主，他们积极拥戴李氏皇子，极力恢复李唐天下。
在外戚中，最早觊觎皇太子之位的是武承嗣。当武太后将中宗皇帝赶下台，自己专擅朝政之时，“承嗣自谓传国及己，武氏当有天下，即讽革命，去唐家子孙，诛大臣不附者，倡议追王先世，立宗庙”。武则天改唐为周、称帝之后，即于神都洛阳立武氏七庙，追尊先祖为帝，妣为皇后，封武承嗣为魏王、武三思为梁王，并改睿宗皇帝为皇嗣。这时，武承嗣求做皇太子的欲望更加强烈，但他自己还是羞羞答答，不好意思明言此事。凤阁舍人张嘉福窥知了武承嗣这一难言之隐，便于天授二年（691年）九月唆使洛阳人王庆之出头露面，鼓动数百人上表，请立武承嗣为皇太子。但这次由于宰相岑长倩、格辅元极力反对，（尽管后来武承嗣僭杀了岑、格二相）他的阴谋仍未得逞。王庆之为凤阁侍郎李昭德所杖杀，其党徒也四散而去，于是这场风波才得以平息。之后，李昭德又规劝则天女皇说：“天皇，陛下之夫；皇嗣，陛下之子。陛下身有天下，当传之子孙为万代业，岂得以侄为嗣乎！自古未闻侄为天子而为姑立庙者也。且陛下受天皇顾托，若以天下与承嗣，则天皇不血食矣。”则天女皇想了想，还是同意李昭德的这一说法。
长寿元年（692年）五月，已擢为夏官侍郎的李昭德又秘密向则天女皇进言，说魏王武承嗣威权太重。女皇不以为然，以为武承嗣是自己的侄子，故“委以腹心”。李昭德则极力争辩，说侄与姑母，岂能比上父子之亲？儿子尚有弑父篡权者，何况侄子呢？如今承嗣已为亲王，又做了宰相，其威权与人主相当，臣恐怕陛下不能久安于天子之位！则天女皇听了似有所悟，不久即罢免了武承嗣的文昌左相、同凤阁鸾台平章事的职务，改授为特进，这是一个闲散的官职。在朝臣的反对下，武承嗣谋做太子之事一再受挫。
时间一天天过去了。但武承嗣仍是贼心不死，因为他曾为建立武周政权而摇旗呐喊。不就是为了在建立武氏王朝，企望有朝一日继则天女皇之后，能爬上皇帝宝座吗？女皇的另一个侄子武三思比武承嗣要小几岁，他野心膨胀，也是处心积虑地要做皇太子。他俩见姑母一天比一天衰老，而且还经常闹病，求做太子之心更是急不可待。圣历元年（698年）三月，武承嗣与武三思一再唆使朝臣上言则天女皇，说什么“自古天子未有异姓为嗣者”。异姓是指武姓以外的人，其意十分明白，就是李氏不能嗣皇位，那么嗣皇位的只有武姓，当然就是武承嗣或武三思了。则天女皇听了虽然觉得不无道理，但仍未能下定决心，究竟是立儿子还是立侄子为皇太子。
尽管在武则天临朝称制时，对于主张返政于睿宗的宰相裴炎、刘袆之等人曾先后处以死刑，此后一般大臣不敢再明言恢复李氏皇统，但像李昭德那样真正倾心于唐室的大臣却不乏其人。鸾台侍郎狄仁杰就是其中的一人。圣历元年（698年）三月的一天，他从容规劝则天女皇说：
“文皇帝（唐太宗）栉风沐雨，亲冒锋镝，以定天下，传之子孙。大帝以二子托陛下。陛下今乃欲移之他族，无乃非天意乎！且姑侄之与母子孰亲？陛下立子，则千秋万岁后，配食太庙，承继无穷；立侄，则未闻侄为天子而袝姑于庙者也。”
狄仁杰所劝则天女皇要立子不立侄的话，同之前李昭德所说的基本相同，都是以身后的利害关系来劝说武则天。则天女皇听了，仍是拿不定主意，便说：
“此朕家事，卿勿预知。”
想当年，在立武昭仪为皇后时，宰相李勣曾向高宗说过这样的话，以促使高宗下定决心，并以此来搪塞大臣。但这次并没有堵住狄仁杰的口，他听了这话以后并不肯退让，又进一步规谏女皇说：
“王者以四海为家，四海之内，何者不为陛下家事！君为元首，臣为股肱，义同一体，况臣备位宰相，岂得不预知乎！”
则天女皇无话可说，半天沉默不语。这时内史王及善、鸾台侍郎、同平章事王方庆也极力劝说，则天女皇才有些回心转意。
过了几天，则天女皇做了一个奇怪的梦，梦见一只大鹦鹉，羽毛非常丰满，可是两个翅膀却折断了，想飞又飞不起来。她不知这是什么征兆，便召来宰相，想问个究竟。众宰相听了都不知其意，无言以对，狄仁杰却站出来，谈了个人的见解。他认为梦中的“鹉”，是陛下的“武”姓，两翅折断是指陛下的两个皇子庐陵王与皇嗣遇到了挫折。如果陛下能起用这两个皇子，两翅俱全，不就可翱翔长空了吗？
则天女皇听了，点头称是，从此才下定了传位于皇子的决心。
魏王武承嗣见则天女皇决意传位于皇子，自己多年的努力全付诸东流，他懊恼自己不能被立为皇太子，做皇帝无望，心中怏怏不乐，抑郁成疾，就在这一年，他呜呼哀哉，命归黄泉了。
经过宰相狄仁杰、王方庆等大臣的规谏，则天女皇终于决定传位于皇子。但究竟传位于哪个皇子呢？她现在只剩下两个皇子：第三子李显即位仅51天，即被武则天废黜了皇位，降封为庐陵王，先徙居均州，后又迁居房州（今湖北房县），他一直享受着王的待遇，过着闲散的生活。第四子李旦继中宗之后立为皇帝，但却不得亲政。武则天改朝换代后，他又被降为皇嗣，仍备位于东宫，如同皇太子。在酷吏横行时期，他终日惴惴不安，几经磨难。则天女皇传位，只能从这二子中选择其一，最后决定选择第三子李显为皇位继承人。
李显之所以被选做皇位继承人，大概仍受传统宗法制的影响，“立嫡以长”的宗法观念已深入人心，这在天下太平时期更是如此。再者，李显为李旦之兄，而且早年已做过皇帝，这也是天下士庶皆知的事。所以当则天女皇在考虑传位于谁时，自然会首先想到他。另外，女皇的男宠张易之、张昌宗兄弟与吉顼，也起了推波助澜的作用。
张易之兄弟并无真才实学，在朝廷内外也是臭名远扬，只不过以自己漂亮非凡的外表博得了女皇的欢心。他俩似乎也认识到，以貌取人，仅靠吃青春饭是不会天长地久的。而且女皇已是风烛残年，万一女皇驾崩，他俩也自然失去了靠山。因此，他俩虽然贵宠一时，享尽了人间荣华富贵，但内心却充满着一种恐惧感，于是便谋求自安之计。
素多智谋的吉顼曾在控鹤府供职，与二张关系较为密切。这时，他好像窥知了二张的内心世界，便主动为他俩出谋划策，说：“你们兄弟深受皇帝恩泽，宠极一时，这并不是由于你们的功德与业绩，天下士庶对你俩恨得咬牙切齿。我有不朽之策，如果你俩能照此行事，不但能自保无事，还能传之后世，万代不绝。”
这话正好说到二张的心坎上，张易之流着眼泪，请求吉顼说明高策。这时吉顼便向二张献计说：“天下士庶未忘唐德，威复思庐陵王。主上春秋高，大业须有所付；武氏诸王非所属意。公何不从容劝上立庐陵王以系苍生之望！如此，非徒免祸，亦可以长保富贵矣。”
吉顼这一席话，似给了张易之兄弟一根救命稻草，他俩信以为真，便利用枕席之便，一再劝说则天女皇立庐陵王为皇太子。后来，则天女皇揣知这是吉顼的主意，便召问吉顼，吉顼遂乘机向女皇进言，说庐陵王、皇嗣皆是陛下之子，先帝顾托于陛下，当速将后事托付于他们，以上符天意，下合民心。于是则天女皇这才最后下定决心，“乃还中宗”。
则天女皇打定主意之后，便于圣历元年（698年）四月，以庐陵王患病为名，派遣职方员外郎徐彦伯去房州，秘密把他召回洛阳“养病疗疾”，同时把庐陵王的王妃韦氏及诸子女也都一一召回。
唐中宗自被武则天赶下台去，降封为庐陵王，软禁在房州后，一直是提心吊胆，惶惶不可终日。他的两个兄长太子李弘、李贤已先后死去，唐宗室诸王公也多被杀戮，所以每逢听到有朝廷使臣到达房州的消息，则往往吓得要死，多次欲自杀。但在这紧要的关头，韦妃虽说是“头发长，见识短”的女人，反倒显得有些见识，她常常规劝并开导庐陵王说，祸与福相互倚伏，这是常有的事。待听到赐死的诏书再死，也为时未晚，何必这样匆忙自杀？在韦妃的劝说下，庐陵王多次放弃了自杀的念头，于是二人“累年同艰危，情义甚笃”。
有时，韦妃还陪着庐陵王在苑里散步，经常说些安慰他的话。有一次，庐陵王仰面望着天空上的浮云，不禁喟然而叹。他将手中的一块小石头高高地抛向空中，并祝福道：“我将来能做皇帝，这块石头就不落地。”说也凑巧，这块抛向空中的石头不左不右，正好坠落在树杈上，被卡得结结实实。韦妃认为是吉兆，便高兴地向庐陵王祝贺。
过了十几天，使臣徐彦伯来到房州，传达了女皇旨意。庐陵王遵照母皇旨意，马上打点行装，即日动身向洛阳进发。
庐陵王被秘密地接回洛阳之后，一时尚难以安置。因为其四弟皇嗣李旦仍作为储君，备位东宫，所以他暂且不能回东宫去，于是便住在皇宫的从殿里，朝臣也很少知道此事。
当时在社会上流传的《狄梁公传》记载了这样一个故事：
一天，则天女皇再一次与宰相狄仁杰等议论庐陵王的事，她表情十分严肃地说：
“上次所议论庐陵王的事，事关重大。朕寤寐转侧，反复考虑，觉得你说的话并不错，朕以为忠臣事主，要一心一意，不能反复。今天之事，须要改变以前的成见，天下之事，在你一言，符合朕意的则两方有利无损，违背朕意的将不能保全功名利禄。”
狄仁杰听了，不慌不忙，理直气壮地回答则天女皇说：
“听了陛下所说的一番话，其意是天子之位可以自己专擅。依臣所见，是太宗文皇帝之位，陛下岂能据为己有！当年太宗冲锋陷阵，经纶天下，之所以不顾生死，是为了李氏子孙，岂是为了武三思等人！陛下身是高宗大帝皇后，大帝病笃时，暂且让陛下代理国家大事。大帝归天后，应该归政于嫡子，而陛下却据有帝位十几年。今天议论帝位继承问题，岂能再有异议！况且姑与母、子与侄，哪一个亲近，这不是显而易见的事吗？”
则天女皇听了狄仁杰的话，为他的忠心奉国、肝胆相照而感动得唏嘘流泪，用手抚摩着他的后背说：
“你不是朕的大周之臣，是李唐社稷之臣！”
说完，又回头召来庐陵王说：
“快来拜谢国老，是今日的国老归还了你的天子之位。”
狄仁杰见了庐陵王，一时百感交集，激动万分，马上脱下冠冕叩头，两眼泪流变血，左右上前去搀扶，他却久久不能起立。则天女皇目睹了国老大臣这一情景，似也动了心，马上对侍臣说：
“即行起草诏书，公告天下，择一吉日良辰，进行册封。”
狄仁杰听了，擦了一把眼泪说：
“自古以来，岂有偷偷摸摸做天子的！庐陵王前在房州，几乎天下人家喻户晓；今日来到宫内，连国老大臣也全然不知。我本想遵照陛下旨意，但若像卫太子那样，一旦发生了兵变，陛下怎样向大臣交代？”
卫太子即戾太子，是汉武帝之太子。在公元前91年5月，江充利用汉武帝晚年怀疑左右用厌术诅咒自己，从中挑拨离间，诬告卫太子搞厌术，逼得卫太子起兵作乱，兵败被杀，谥号戾太子。狄仁杰认为迎回庐陵王要光明正大，要将此事公之于众，像这样秘密接回，一旦有了流言蜚语，便不好向大臣交代。则天女皇接受了狄仁杰的建议，就在洛阳城南的石像驿站，举行了一个盛大的欢迎仪式，然后大张旗鼓地迎接庐陵王回到洛阳宫内。
庐陵王回到洛阳宫后，必然要引起皇嗣地位的变化。则天女皇和大臣们都有意复立庐陵王为皇太子，但还没有正式颁下诏令。一向恭谦礼让的皇嗣心里也自然明白，庐陵王是自己的兄长，又最先继承了父位，做了皇帝。这次母皇特把他从外地接回京城，当然是意在让他继承大宝之位，于是皇嗣便“数称疾不朝，请让位于中宗”。皇嗣的自知之明，主动推让，避免了一场意外事件的发生。在将庐陵王接回东都的6个月后，圣历元年（698年）十月，则天女皇正式册立庐陵王为皇太子，皇嗣李旦退出东宫，降封为相王，并授太子右卫率。
庐陵王李显先由太子到做皇帝，又由皇帝降封为王，再由庐陵王册立为皇太子。在这十几年的时间里，他走的就是这样一条坎坷而曲折的道路。
前面说过，李显重新被立为皇太子，二张兄弟在其中也起了不小的作用。说起二张兄弟，还要从武则天的男宠说起。