杨坚听了，沉吟不语。这时已是夜幕降临，倦鸟归林。城中的百官，备齐了车驾，纷纷来迎。高颎又连连苦谏，杨坚才勉强登辇。独孤皇后自觉做得过分，痛哭流涕向杨坚认错：“贱妾因一时的愚忿，倒触怒了圣上，自知罪该万死。深愿圣上垂察，贱妾及笄来归，数十年夫妇，从未与圣上相违。今因宫人得罪了圣上，还望宽恕。”
事情闹到这个地步，杨坚也已无可奈何：“朕非得新忘旧。只是你怎能如此残忍，竟将尉迟贞赐死。要知道昨天实际上是朕强迫她，而不是她来勾引朕的。你怎能罪及无辜？如今事已至此，说也无益，不必多说了！”独孤皇后含泪拜谢，依旧并辇入宫。从此独孤皇后的行为方才有所收敛，但仍不容许杨坚过分。
一般认为，女人的残忍性一般不如男人那样突出，她们的防御性心理状态远比其攻击性心理状态强。然而，一旦她们有权力和机会处决她们长期仇视和忌恨的人，发泄其内心蓄积的怨恨，她们的攻击性心态就表现得异常明显，其残忍性心理特质甚至比残暴的男人要高得多。然而，女人的盲目嫉妒最终伤害的只能是别的女人，而并不能摧毁封建的夫权制度。
次年的八月中秋晚上，独孤皇后一病去世，年未五十。杨坚自从独孤皇后殁后，为结发妻子办完丧事，便以年逾花甲之高龄，奋起余勇，接连宠幸陈宣华夫人与蔡容华夫人。陈宣华夫人原是陈后主的妹妹，生得国色天香，闭月羞花。蔡容华夫人也是南国佳人，一样风流娇媚。二人早已入宫，杨坚也早有意，只是以往碍于独孤皇后而无缘得幸。从此隋文帝日日欢宴，时时歌笑，比独孤皇后在时，放浪了不少。
废易太子祸起萧墙
杨坚有五个儿子，都是独孤皇后所生，这在历代帝王中较为罕见。长子杨勇为皇太子，其余四子都封了王：杨广为晋王，杨俊为秦王，杨季为越王，杨谅为汉王。杨坚非常满足，曾公然说道：“前代皇帝内宠太多，往往由于嬖爱而废嫡立幼，我没有姬妾，五个儿子都是皇后所生，必然会和睦相处，不会像前朝那样发生争夺。”只是隋文帝这样得意地宣布时，宫中争夺继承皇位的斗争早已在进行了，只是他没有察觉而已。
杨勇是杨坚的长子，幼时颇得父母喜爱，故在杨坚做隋王时便被立为世子，后来被确立为太子。开皇初年，杨坚为提高儿子的地位，凡有军国大事，都要杨勇参与处理。其时，杨勇不过是十来岁的孩子。有一次，杨坚发现杨勇把一副铠甲装饰得很华丽，便严肃地与他谈了一次话，告诫他做皇帝追求奢侈是亡国之道。
有一年冬至，百官都到太子宫中称贺，杨勇超出礼制规定张乐受贺。独孤皇后便对杨坚说：“太子勇率性任意，动多乖张，今日冬至，百官循例进宫，他却张乐受贺。圣上尚需劝诫他一番才好。”杨坚听说后，也是心里不快，命令群臣此后不得擅贺东宫。从此杨坚对太子的宠爱大不如以前了。
杨勇不仅生活奢侈，性喜浮华，而且内宠很多。其中有四个女子最得宠幸：一个是高良娣，轻盈娇小，柔若无骨；一个是王良嫒，肌肤映雪，柳腰袅娜；一个是成姬，双瞳点水，一握莲钩；而最美的一个叫云昭训，真是天仙化人，艳冠三美，更是讨太子欢心。只是杨勇与嫡妃元氏性情合不来。因此四美轮流当夕，元妃独守空房。
独孤氏最讨厌除和妻子以外别的女人生孩子的男人，当然对杨勇的行为也不满意。杨勇的第一个儿子是与尚未选入东官的云氏在外边生的。杨坚对此也大为不满，指责杨勇不应乱搞。杨勇不服，依然我行我素。后来元妃患病死去，独孤皇后以为是太子有意谋害嫡妃，心里越发不平，便暗中想废去太子杨勇，她派宦官伺察太子的短处，等他有了重大过失，便好将他废去，改为晋王杨广为太子。但杨勇既为皇太子，当然会有一批人为了将来的利益为他出谋划策，在杨勇周围逐渐形成一派势力。
杨勇在父母面前失宠，善于察言观色的杨广便开始策划取而代之，在他周围以当朝重臣杨素为首形成另一派势力。开皇十八年（公元598年）冬至日，朝廷百官都到东宫朝见杨勇，杨勇也大张旗鼓地接受朝贺，实际上是对杨坚的示威。杨坚当然不能容忍，专门为此下诏，严禁以后再有此类事情发生，废除杨勇的意图此时已正式形成。其后，杨坚父子互相猜疑。为防备杨勇，杨坚把东宫警卫的强壮者全部挑走，并与皇宫警卫经常轮换，侍卫以上的官吏全由皇宫卫队统一指挥，不受东宫调遣。杨勇本来就没有雄才大略，依附者在皇帝的再三警告下也不敢妄动，杨勇便也束手无策。开皇二十年（公元600年），杨坚正式废杨勇为平民，并杀掉和罢免一大批臣僚，彻底消灭了太子党。
晋王杨广生性狡诈诡谲，善于矫饰逢迎，本是一个投机取巧之人。他早有夺嫡的心思，于是处处沽名钓誉，并揣摩独孤皇后的情性，一味迎合。后宫虽有美人无数，为取悦于独孤皇后，杨广不惜将其他姬妾所生骨肉命人掐死，只有正妃萧氏所生之子才禀告父母，给父母造成了仅与元配厮守终身的假相。有一天杨坚与独孤皇后同临晋王的府第，杨广便将后宫美姬都藏起来，只留下几个又老又丑的宫女充当侍役，身上所穿全是粗布衣服，杨广与萧妃也穿得很陈旧。一切陈设都因陋就简，架上的诸般乐器都尘堆垢积，望上去便知道已是久不动用了。
杨坚素性节俭，最恨奢华的行为，见到杨广如此，心里很满意。独孤皇后见晋王室无美姬，只有丑妇，对杨广也极有好感。从此文帝夫妻两人，对晋王另眼看待。有时独孤皇后遣亲信左右至晋王府第探视，杨广不论来使身份的贵贱，与萧氏都亲至大门迎接，设宴款待，并送以厚礼，于是到处都是为晋王说好话的人。
杨广暗中与心腹宇文述等人密谋夺嫡。他先以重金结交贿赂大理少卿杨约，再通过杨约结交其兄杨素，获得杨素的暗中支持。又收买东宫幸臣姬威等人以为内应。晋王杨广正在暗地进行推翻太子的计划，而太子醉生梦死，丝毫不加防备。
独孤皇后虽欲将晋王立为太子，但杨坚因一时太子杨勇没有犯大的过错，心中虽欲立晋王，却不好实行。这时晋王杨广调镇扬州，不到半年便表请入觐。杨广回朝后，表现得慎言庄容，端肃安详。他对于一般朝臣格外谦和，恭而有礼。宫廷内外，都同声说他的好。
到了辞行还镇的那天，杨广入宫别母，见了独孤皇后，他依在独孤皇后的膝下，泣诉道：“臣儿生性愚蠢，向来不知忌讳，时常怀念双亲，所以未及二旬，递即上表请朝。原思一见父皇与母后，藉聆慈训，哪知触忌了长兄。”
独孤皇后听到杨广提及太子杨勇，便问：“他敢怎么样？”杨广惶恐说：“他竟疑忌臣儿，谓儿觊觎名器，意欲加害，臣儿因此惶恐。臣儿远列外藩，东宫日侍左右，谗惑见加，皇父容或难辨。一旦赐臣尺帛或给杯鸩，臣儿实不知身死何所。恐从此一别，便不能再见慈颜了。”晋王说着便涕泪纵横，呜咽不止。
独孤皇后愤然道：“我为他娶元氏女，竟不以夫妇礼待之，元氏女向来身体健全，竟会一旦暴亡，他却毫不悲伤，反与妖姬云氏淫乐。我也疑惑元氏被他所害，只是暂时容忍，现在他却越发狂妄，竟想加害你，我活着他已是如此，往后真不堪设想了。”独孤皇后说着已泣下。
杨广佯作劝慰：“臣儿自是不肖，未能感化长兄，反使母后因此伤感，岂不是增臣儿罪戾！”独孤皇后安慰一番，叫他安心回去，非密诏不可进京；不得轻过东宫。晋王心中暗喜，从此独孤皇后废杨勇的心肠更坚决了。
积毁成山，三人成虎，杨素与独孤皇后异口同声地说太子失德，内外交谗，杨坚便动了废立的主意。宫廷内外，都知了废立的消息，传到东宫，杨勇才开始着慌。他引入巫觋，做了种种厌禳术。这个消息，又被人探听了去，报告了独孤皇后，当晚杨坚也知道了，命杨素到东宫探看虚实。
杨素本是杨广的人，他到了东宫，杨勇慌忙更换好了衣冠。哪知杨素故意东看一会儿花草，西看一会儿亭台，只是不去拜见。杨勇等候了多时，不禁来气，待到杨素徐行入见，杨勇怒形于色说：“公姗姗来迟，究属何意？圣上虽欲将我废立，此时究竟尚未实行，你莫自恃功高，便不把我放在眼里。”杨素佯作失惊道：“老臣该死，进了园中，一因年迈，脚步迟了些；二因贪看了园中景色，因此有劳殿下久候。还念老朽可怜，恕罪一遭。”杨勇冷笑：“说得倒好，你来此做什么？”杨素又假意微叹说：“圣上不知听信了谁的谗言，意欲废立东宫。老臣素知殿下，仁德无亏，今日特来安慰殿下的。”杨勇听了，以为杨素真心好意，不免言语之中，露出怨愤。杨素听在耳中，回到宫里，见了杨坚，便一一说了出来。杨坚大怒，便在成德殿上，召集了百官宣诏废杨勇。过了数日，即立晋王杨广为太子。
后来，有一天大雪狂风，天气阴沉，被囚禁的杨勇爬上东宫院子里的大树，在风雪中向文帝的方向大声诉说自己的冤情，正巧文帝走出宫殿，听到了他的声音，问身边的杨素：“这是勇儿的声音，他在喊些什么？”杨素冷淡地答道：“前皇太子疯了，请陛下不用过虑。”
杨俊是杨坚的三子，11岁时被立为秦王，12岁时拜为上柱国、河南道行台尚书令兼洛州刺史，后转任并州总管。杨俊追求奢侈生活，身为皇帝的儿子，还要发放高利贷榨取百姓。营造豪华宫殿，整日在其中歌舞宴饮。杨俊贪好女色，常与其他女人厮混，妻子崔氏却受冷落。崔氏寂寞难挨，图谋报复，便在杨俊吃的瓜中放进药物，杨俊由此得病。杨坚知道后，便把他召回长安，免去官职。开皇二十年（公元600年），杨俊病死。
杨秀是杨坚的四子，初封越王，后做蜀王，坐镇蜀地。杨秀在追求奢侈生活的同时，又处处效仿父亲的衣食住行，梦想有一天自己做皇帝，拉拢亲信，发展势力，并制造谣言、图谶，为继承皇位编造理论依据。杨勇被废后，杨广恐怕杨秀与自己作对，便鼓动父亲把他召回京师，罗织谋叛罪名，在杨坚临死前贬为平民。
杨谅是杨坚的第五子，初封汉王，后任并州（太原市西南）总管。杨勇被废后，杨谅也想自己做皇帝，便在并州招兵买马，修治兵器，为争夺皇位做准备。杨坚死，杨谅都没有到长安奔丧，而是立即起兵，以讨伐杨素为由，进兵长安。杨谅根本不懂打仗，很快便被杨广的军队击败，自己也做了俘虏。
杨坚的五个儿子同出一母，但也未能避免因争夺皇位而相互内讧的悲剧。杨坚使儿子们在地方上各掌一方，但他们却辜负了杨坚的厚望。
仁寿四年（公元604年）正月，杨坚又要到仁寿宫游玩，便把朝廷日常工作全部交给了杨广。四月，杨坚得病；七月，病重，召杨广等入宫侍候。临死时的杨坚终于看清了这个儿子的真面目，但也晚了。公元604年7月，他因为病重，卧于长安仁寿宫大宝殿内，杨广认为登上皇位的时机已到，于是迫不及待地写信给杨素，请教怎样处理将要到来的杨坚后事。不料送信人误将杨素的回信送给了文帝。杨坚读后大怒，此时，宣华夫人衣衫不整地跑进来，哭诉杨广乘她换衣时无耻地调戏她，使杨坚更醒悟到受了杨广的蒙骗，拍着床子大骂：“这个畜生如此无礼，怎能担当治国的大任，皇后误了我的大事。”急忙命在旁的大臣柳述、元岩草拟诏书，废黜杨广，重立杨勇为太子。
杨广听说了，赶忙将侍奉杨坚的人全部换掉，与大臣杨素、张衡、宇文述等人乘机发动宫廷政变，带兵包围仁寿宫，赶散宫人，逮捕了柳述、元岩，右庶子张衡怀藏利刃，深入杨坚驾前，一举结果了文帝杨坚。杨坚享年63岁。
杨坚创下的隋朝基业并没有坚持多久，隋朝很快就被历史上最荒淫无道的隋炀帝杨广挥霍掉了。隋朝从建立到灭亡有37年，但从589年灭陈算起，仅仅29年。
名家评说
（隋文帝）不肯信任百司，每事皆自决断，虽则劳神苦形，未能尽合于理。朝臣既知其意，亦不敢直言，宰相以下，惟即承顺而已。
——（唐）吴兢《贞观政要》
高祖龙德在田，奇表见异，晦明藏用，故知我者希……于是躬节俭，平徭赋，仓廪实，法令行，君子咸乐其生，小人各安其业，强无陵弱，众不暴寡，人物殷阜，朝野欢娱。二十年间，天下无事，区宇之内晏如也。考之前王，足以参踪盛烈。但素无术学，不能尽下，无宽仁之度，有刻薄之资，暨乎暮年，此风逾扇。又雅好符瑞，暗于大道，建彼维城，权侔京室，皆同帝制，靡所适从。听哲妇之言，惑邪臣之说，溺宠废嫡，托付失所。
——（唐）魏徵《隋书》
隋文帝之俭，非俭也，吝也，不共其德而徒厚其财也。富有四海，求盈不厌，侈其多藏，重毒天下，为恶之大而已矣。
——（清）王夫之《读通鉴论》