奸臣秦桧死后，赵构原本以为这下子可以高枕无忧了，但是事与愿违，绍兴三十一年（1161）秋，金朝海陵王完颜亮亲率六十万大军南下侵宋。完颜亮早有侵宋的野心，因此，希望通过这次进攻一举灭亡南宋。
赵构一面派人组织南宋军队抵抗，一面又开始准备船只企图逃跑。在宋金战场上，虽然宋军的主将是宿将刘锜，但也是节节败退。金兵一直打到江北。
就在完颜亮大举南下的时候，金朝内部发生动荡，完颜雍发动政变，自立为皇帝。消息传来，完颜亮无心恋战。
此时，南宋出现了一个传奇式的将领虞允文。本来他是到前方劳军的，却不甘寂寞指挥了采石之战，在战斗中一举打败了金军。完颜亮随后也在内乱中被杀！
此时，形势对南宋非常有利。但是赵构早已经被金兵吓破了胆，他和朝廷内部的主和派策划再次妥协。然而，全国上下群情激昂，大有要一举收复北宋以来的失地之势。力主和谈的赵构十分尴尬，面对无法抑制的抗金形势，既不敢战，又无法实现议和，赵构感到无力驾驭政治局面，只好让贤。
绍兴三十二年（1162）六月，南宋高宗赵构皇帝下旨说：“朕在位三十六年，上仰苍天之佑，下仗祖宗之福，战事稍息，边境相安。考虑到祖宗基业之重，一直兢兢业业，不敢有片刻安暇。今欲卸去重任以养天年。皇太子贤圣仁孝，天下共知，乃是天意所归，民心所向。今决定传位皇太子，并有赖文武大臣同心同力，以永保国家万世安康。”
六月初十，赵构正式禅位，宋太祖七世孙赵玮（已改名为赵昚）即皇帝位，是为宋孝宗。赵构被封为太上皇，迁居德寿宫。吴氏被封为太上皇后。
当禅位大典完成后，孝宗赵昚冒雨步行送太上皇高宗去德寿宫，高宗一再让他回去，但是孝宗为尽孝道仍旧不回。高宗对孝宗自然十分满意，并且经常夸耀。自此以后，孝宗每隔几天就看望高宗，可谓极尽孝道。
从公元1162年内禅，到公元1187年逝世，高宗当了二十五年太上皇。这二十五年中，太上皇后吴氏一直陪伴着他，悉心侍奉，不曾失礼。吴氏还善于调解高宗父子关系，所以两宫一无隔阂。
史书记载，有一次，孝宗陪太上皇在宫中开宴。酒醉之后，许下了给高宗二十万缗钱的诺言。孝宗酒醒后，早把说过的话忘得干干净净。可高宗当了真，还在德寿宫里等着孝宗送钱来呢，见多日没送来，不免有些不高兴，认为江山都给孝宗了，怎么两个钱还不舍得。
见此情景，吴氏忙说：“钱已经拿来很久了，放在我这里呢。不知道你要钱花，所以没有贸然给你。”吴氏便从自己的私房钱里拿了二十万缗钱给了高宗。
高宗非常高兴，说：“我没有看错赵昚，他是个孝顺孩子。怎么样，我有眼力吧？”
后来，吴氏的侍女将这件事情告诉了孝宗。孝宗极为感动，立即派手下将钱送给吴氏，而且翻番给了四十万缗。
高宗的确没有看错孝宗。孝宗在即位后励精图治、锐意改革，大有复兴南国之志。面对金国咄咄逼人的态势，一改宋朝总是被动挨打的局面，采取主动出击的方式对金国展开进攻，史称“隆兴北伐”。
可是，“隆兴北伐”成了“隆兴和议”，没能根本改变南宋的颓势，使得宋朝刚刚出现的转机又毁于一旦。孝宗执政二十五年，看到自己的改革措施不断失败，心灰意冷，眼见自己的儿子赵惇已经四十多岁，完全可以执政了，于是他一直在寻找时机，试图学高宗当太上皇。可是高宗还活着，中国历史上还没有哪个朝代拥有两个位太上皇，所以孝宗只好硬撑着着。
（4）垂帘听政，只为社稷顺利交接
孝宗的机会终于来了。公元1187年，太上皇赵构终于走完了他高寿的一生。仁孝的孝宗表示，他将为太上皇守孝三年，并且希望吴氏回到皇宫生活。吴氏没有同意，她不愿意给人添麻烦。
孝宗的头上不再有太上皇了。孝宗当太上皇的想法更加强烈，只是无法说服皇亲国戚和大臣们，才只好坚持着。他不断向臣子们说明自己想当太上皇的想法，可每每都无法说服大家，于是只能采取消极对抗的方式，对朝政不理不睬，完全处在守孝的状态。
淳熙十六年（公元1189年）二月，孝宗为太上皇守孝三年满了，他不再听臣子们的劝阻，果断地退出了权利中心，学高宗当太上皇——六十二岁的孝宗终于禅位给了自己的儿子、皇太子、已经四十二岁的赵惇。
赵惇就是宋光宗，他继位后，封李凤娘为皇后。孝宗被尊为太上皇，也称“寿皇”；封孝宗皇后谢氏为太上皇后；改封原太上皇后吴氏为寿圣皇太后。吴氏实际上是当了皇奶奶。
光宗在继位的第二年改元为“绍熙”。
失去了丈夫的吴氏一直安稳地过着自己的晚年生活。没想到，这份安稳生活没维持多久，她居然被推出来垂帘听政了，这是她没有想到的。
光宗即位之初，金国皇帝昏庸无能，宋金两国暂时相安无事，基本上保持着和平的局面。光宗也表现出令人欣慰的一面。他表示要积极求谏，录用人才，励精图治，还采取了减免赋税等措施，似乎要大干一场。
但是好景不长，光宗赵惇的皇后李氏是个典型的悍妇，喜欢弄权，尤其是对政事感兴趣，李氏掀起的宫廷风波常常使得光宗狼狈不堪。她还让光宗大封她的族人外戚，而对孝宗皇后谢氏、寿圣皇后吴氏等人大为不敬。光宗和父亲孝宗的关系，更是由于李氏从中作崇而日益恶化。
光宗与李氏生有一子，即后来的宁宗赵扩。赵扩是个没有主见、昏庸无能的人。这一点，大宋朝廷上下已经取得了共识。如果让他当太子，日后即了位，对宋朝江山没有任何好处。
作为曾经的君主，太上皇孝宗对由谁来继承大统问题考虑得很多。他希望在宗室中挑选贤能之人来当皇太子。这当然使光宗和李氏大为不满。父子间的矛盾越来越深。
光宗在当皇太子的时候，就常常情绪激动，不能自已。作了皇帝以后，光宗的精神状态更是每况愈下。加上李氏的不断刺激，他几乎到了精神崩溃的边缘。后来，李氏出于嫉妒杀死了光宗喜爱的黄贵妃，甚至开始干预朝政，光宗对她都没有办法，加上自己也懒得上朝，于是政务都归于李氏处理。
当年孝宗对高宗孝顺有加，高宗晚年幸福；但是轮到孝宗自己就没那么幸运了。根据南宋的礼制，皇帝每月要去看太上皇四次。实际上，当年孝宗看望高宗的次数要比这个规定多得多多。但光宗则不然，他很少去看望光宗，早已经把这位仍然惦记着他的父亲忘记了。孝宗在重病期间，口中一直呼唤着孝宗赵惇的名字，但是，他直到死去也没有看到自己的儿子。史学界认为，孝宗之所以当太上皇五年便死去了，与儿子赵惇不孝有关。
绍熙五年（1194）六月初九的晚上，六十八岁的太上皇孝宗驾崩。这时，光宗已经几个月没有去看望父亲了。皇上和太上皇之间的矛盾是如此之深，以至于孝宗驾崩的消息首先传到的不是皇宫，而是传到宰相府邸。
南宋朝廷宗室的执政大臣赵汝愚考虑到光宗父子不和，怕半夜报丧给光宗，光宗会因有所疑惧而拒绝上朝，进面耽误丧礼，只得拖到第二天的早朝才把孝宗驾崩的消息上报光宗。
没想到，光宗听说孝宗驾崩了，却一点表示都没有。这样，孝宗的葬礼无人安排，更没人主持，甚至金国派来的吊唁者都无人接待。
无奈之下，赵汝愚等人决定请求寿圣太后吴氏出面主持丧事。吴氏居于深宫，本不想介入此事，但看到群情激愤，又为社稷考虑，只得答应垂帘代行祭奠之礼，丧礼这才如期举行。
治丧期间，光宗称病不出，只顾下诏书，尊寿圣皇太后为太皇太后。
朝廷无主，一时间人心惶惶。大臣们普遍认为，光宗已经无法治理朝政了。宰相留正等人于是联名上疏光宗，请求早立皇子嘉王赵扩为储君，以安定人心。
光宗看完奏折后，批了“甚好”两个字。随后，留正又上了一本奏疏。光宗却写了“历事岁久，念欲退贤”八个字。留正见批语含糊不清，立即与枢密使赵汝愚商议。
赵汝愚认为，还是请太皇太后吴氏下诏，让光宗禅位给嘉王。
留正认为这样做不妥当，他担心会连累自己，就称病不出，并且连夜逃出京城。京师人心更加不安。大臣徐谊劝赵汝愚早定大计，他说：“嘉王即位，事在必行，国家安危，在此一举。此事关系重大，非太皇太后做主不可。”
太皇太后吴氏在众大臣的说服下，同意在孝宗的灵柩前垂帘听政，主持孝宗的丧礼和光宗的禅位仪式。
第二天，群臣入宫。
太皇太后吴氏垂帘听政，商议的结果是大家都同意光宗禅位于嘉王赵扩。于是内禅大典在光宗没有参加的情况下举行了。
宁宗赵扩是南宋第四位皇帝，他生于乾道四年（1168）十月十九日。绍熙五年（1194）七月仓促即位。他继位后，尊光宗为太上皇。
第二天，当赵扩去看望自己的父亲时，光宗才知道自己已经被禅位了。也就是在这一天，太皇太后吴氏宣布撤帘，完成了历史赋予她的使命，从此，她颐养天年了。
宁宗即位的过程还是颇有意思的。当太皇太后吴氏命人拿来黄袍给赵扩穿上时，赵扩竟然吓得绕着殿柱跑，一边跑一边还惊慌地大喊道：“儿臣做不得，做不得！”太皇太后没办法，让大臣们一边一个夹扶住赵扩，强行给他穿上黄袍，扶上了皇位。
纵观历史，新皇登基时装腔作势要逊让一番的人确实有，但赵扩却是真心不想当皇帝。史书记载说宁宗“不慧”，也就是说他智商很一般。仿佛是个愚昧无主见的人。或者，他内心里只想做一个衣食无忧、事事不愁的亲王，不愿做天天要操劳国家大事的皇帝。不管他愿意不愿意，南宋王朝交到了他手上，经过他不智不慧地统治了三十一年，就像被庸医一误再误的病人，终于病入膏肓，药石难救了。
平心而论，作为光宗唯一的子嗣，赵扩受过良好的教育。光宗即位后，赵扩被封为嘉王，住在宫外自己的王府里。当时，光宗把自己做太子里收藏的图书全都赐给了这个儿子，还亲自挑选了黄裳、陈傅良、彭龟年等一批名儒教导他。嘉王学习很勤奋。即位后，他还曾亲自开列了十部经史书目和一张十人的名单，对彭龟年说：“朕读的书太少了，我想再增加十名老师，每人给我专门讲一本书。”
宁宗好学是个优点，但他“重量不重质”却是个缺点。书读得不少，但却是一知半解，更谈不上学以致用，自然对他的理政能力无法有帮助。即位不久，他的案头就积压了许多奏疏。后来，他听从了彭龟年的建议，让通进司把奏疏开列出单目，皇帝在单目上注明自己要亲自过目哪些，其他的就可交由三省、枢密院处理。这下批奏章倒是快了，可是新问题又出来了：拿到奏章，宁宗一律批“可”。即使是两位大臣的奏章针锋相对，他也都批了“可”，大臣们便不知如何是好了。
宁宗的临朝听政也是很趣的。每次面见群臣时，无论群臣所奏之事有多繁，时间有多长，宁宗都耐心地听取，一点都不厌倦，但从不开口提问，也不表达态度，只是默默地听着，听完就散朝了。
大臣们还是不知如何是好。
宁宗倒也有表壳自己意旨方法，那是一条非正常的理政途径：“御笔”，就是由皇帝在内宫批示后便直接下达执行。这种做法需要经过宦官和近幸之手，如果皇帝精明强干还好，像宁宗这样的理政能力不强的皇帝，使用“御笔”只能让权臣钻了窗子。权臣们通过勾结宦官和后宫，对御笔的批示施加影响，要不然，就在御笔的传达过程中动手脚，甚至假造御笔，代行皇帝之权。当时朝政之乱可以相像。
宁宗头脑简单倒也罢了，身体却也不健康。无论走到哪里，都要由两个小太监做前导，一人扛一扇小屏，分别写着“少饮酒，怕吐”和“少食生冷，怕肚痛”。可见他的身体有多差劲。“不慧”加上体弱，直接影响了宁宗处理朝政，权臣们要蒙蔽他实在是易如反掌。
但宁宗有一点是非常可取的，那就是他为人仁厚，关心民间疾苦。即位前，他护送高宗灵柩去山阴下葬，一路上见到农民脸朝黄土背朝天的种田，他感慨地说：“生活在深宫，哪知道百姓的艰辛！”即位后，宁宗每年都免一些赋税，以便百姓的日子更好过些。宁宗在生活中非常节俭，不讲究穿戴，所用的器皿也不奢华，酒器都是以锡代银。
有一年上元夜，一个宦官见宁宗独自端坐于烛光中，便问：“元宵佳节，陛下为什么不摆宴席庆祝呢？”
宁宗不开心地说：“你懂什么！外面的百姓都吃不饭，朕哪有心思摆宴席呢？”
当时有人评价宁宗说：“无声色之奉，无游畋之娱，无耽乐饮酒之过，不事奢靡，不殖货利，不行暴虐，凡前代帝王失德之事，陛下皆无之！”虽然这一评价有些溢美成分，但相比那些自己骄奢淫逸、不顾百姓死活的君主，这一评价还算是中肯的。只可惜宁宗有德无才，被权臣摆布了三十年，于社稷民生无大功德。
在宁宗赵扩当政四年后的1197年十月，太皇太后吴氏一病不起，她拒绝服药，说：“我寿已八十，死而无憾，何必还要连累别人呢？”翌月，吴氏病逝，终年八十三岁。获谥号“宪圣慈烈皇后”，葬永思陵。