文帝愈忿，啮指出血，击床说：“畜生何足付大事，独孤误我！”又悔恨说，“枉废我儿！”立即呼唤柳述、元严吩咐：“召我儿。”述、严将召太子广，文帝说：“勇也。”要废广重立勇。述、严出阁写敕书。
杨素知文帝没有召他和太子广，必有变故，设法侦得文帝废广召勇的决定，立即与广密谋，伪造诏书拘捕柳述、元严并押赴大理寺狱；令东宫卫士人上台宿卫，门禁出入由亲信宇文述、郭衍节度；令心腹右庶子张衡入文帝寝宫侍疾，把侍奉文帝的陈、蔡二夫人赶到别室，顷刻之间，文帝驾崩。
文帝之死，又成千古之谜。一说是素与广密谋，令张衡进毒药，文帝饮鸩身亡；一说是杨素令张衡入宫弑帝，血溅屏风，冤痛之声闻于外，这是《资治通鉴》胡三省的说法。从文帝前语看，可知其虽患重病，但头脑清醒，尚能觉悟所造非人，道出“独孤误我”，实则与其说独孤误我，不如说杨素误我。杨坚的过人之处在于临危不乱，知素在殿内与广有预谋，所以没有点破，大概想以缓兵之计，密令述、严召勇废广，暂时稳住素。殊不知杨素老谋深算，与广策划变起仓促，文帝暴崩。因此基本上可以断言文帝死于杨广、杨素、张衡的阴谋之中。
七月十一日，在杨素的拥戴下杨广登上皇帝的宝座，史称隋炀帝。炀帝令素弟杨约入长安杀勇，并对素说：“令兄之弟，果堪大任。”八月，炀帝流放姐夫柳述于龙川，元严于南海。又令人召幼弟并州总管汉王谅入京，想尽杀诸弟，以巩固帝位。谅知有变，起兵反对炀帝。于是，炀帝任命素为并州道行军总管、河北道安抚大使征讨谅。
临战前，杨素先杀军士三百余人，然后进军破谅于晋阳，谅被囚禁至死，所部吏民坐谅死徙者二十余万家。杨素平谅之时，炀帝派约送手诏嘉奖：“公乃建累世之元勋”，忠心可鉴，有如隋之周勃、霍光。素上表答谢曰：我建立功勋并非由于才能，而是“伏惟陛下照重离之明，养继天之德，收臣于疏远，照臣以光辉”。称颂炀帝是明主，极尽阿谀奉承之能事。炀帝大业元年（公元605年）二月，以尚书左仆射素为尚书令。七日，以尚书令素为太子太师，报答素谋权篡位之功。
杨素成为第一宰相的八年时间里，几乎变成了权力的怪兽。他贵宠日隆，威权愈炽，除牛弘等少数官员外，朝中百官无一不遭到他的凌辱践踏。良将史万岁，是与贺若弼、韩擒虎齐名的功臣宿将，官至左卫大将军。他才能过人，贺若弼称之为“骑将”；高颎曾对文帝说：“史万岁雄略过人，每行兵用师之处，未尝不身先士卒，尤擅抚御，将士乐为致力，虽古名将未能过也。”他的将兵之道，同素以严刑峻法、滥杀无辜形成鲜明对照。因此，杨素非常嫉恨他，害怕他威胁自己的地位，欲除之而后快。
开皇二十年（公元600年）四月，突厥达头可汗入侵，文帝令晋王广、杨素出灵武道，汉王谅、史万岁出马己道御敌，结果，唯史万岁与达头相遇，达头听说史万岁英名，惊惶退兵，史万岁驰追百余里与战，杀敌数千，达头远遁。杨素等人无功而返。十月，史万岁回宫，杨素忌其功，向文帝进谗言：“突厥本降，初不为寇，是来塞上畜牧的，而万岁自己多事出战。”文帝轻信素言，不计史万岁的功劳。史万岁上表陈述，文帝不理睬，并猜疑史万岁。
恰逢废太子勇、究治东宫党羽，文帝问史万岁在何处？当时他正在朝堂。杨素见文帝在为勇事生气，趁机诡称：“万岁在朝见东宫！”多么毒辣的一句话。文帝信以为真，令即召万岁来。史万岁既见文帝，上言：“将士有功，为朝廷所压抑。”文帝大怒，令左右当场斩杀史万岁于朝堂，并下诏公布万岁的罪状：征突厥本无功而冒功，怀诈要功，便是国贼。当史万岁被惨杀事传出，手下将士及天下士人无不痛惜万分。
别说是史万岁，就是更有名的将领，即使是杨素的亲戚，只要威胁到他的权势，他也决不放过，“六亲不认”。名将贺若弼与韩擒虎，在平陈的战役中均功列第一，其军事才能和战功在杨素之上。弼与素是表兄弟，然弼性刚直不善媚主，文帝不喜欢他。开皇十二年（公元592年）十二月，文帝任素为右相，弼仍是将军，自然不满。杨素抓住这一点向文帝阴中伤之。文帝捕之入狱，责备他说：“我以高颎、杨素为宰相，汝每倡言，云此二人惟堪谄饭耳，是何意也？”弼答说；“颎，是我的熟人；素，是我的亲表兄，知其为人，所以这么说。”此言对颎有些过分，对素则不冤屈。后颎罢相，弼挺身而出为之辩护，足见其正直禀性。虽然文帝念弼之功恢复其爵位，但始终不予重用，到炀帝执政、杨素擅权时，弼与颎同日被冤杀。“狡兔尽，走狗烹”，愈是功绩卓著的开国武将，死得愈悲惨。
文臣中，不曲附于己的，杨素极力陷害。侍御史柳彧是著名的谏臣。文帝说：“柳彧正直，国之宝也。”彧对素的专权误国，早怀不满。杨素因有小过，敕送南台，命彧处治之。杨素倚恃相位，“不失身份”地坐在柳彧的位置上。柳彧进门看到他如此狂傲，便说：“奉敕治公之罪。”令素起身站在公堂前，自己倚案而坐，讯问杨素。杨素身为宰相，百官慑服，彧敢面斥其非，可谓刚直不阿，素恨之入骨，盘算着让彧栽在他手里的那一天。
仁寿二年（公元602年）十二日，蜀王秀被废黜，因秀曾向柳彧求《治道集》，并有回赠礼物之事，素乃伺机诬彧以内臣交通诸侯。文帝失察，将柳彧削职为民，并流放怀远镇。会汉王谅起兵，谅召彧为谋主，彧初不知谅反，将入城，见谅反形已露，诈中恶不食，谅囚之于晋阳。四年八月，杨素攻陷晋阳，将彧押回京师，诬他心怀两端，以候事变，心实同逆，遂被流放于敦煌。直到杨素死后，彧上表申诉，才得调回京，但又死于途中。
尚书右丞李纲刚直不阿，不曲附素，素亦恨之。仁寿二年十二月，交州俚帅李佛子叛乱，杨素荐瓜州刺史刘方为交州道行军总管。与此同时，又向文帝建议：“林邑多珍宝，自非正人不可委。李纲当此大任。”文帝知纲正直，又不知杨素的真实用心，遂任纲为行军司马。任命已定，杨素与刘方密谋，刘承素意，任意凌辱纲，几乎置纲于死地。从此，李纲远离京都，终隋一代不得升调。杨素借刀杀人，阴毒至极！
杨素权力上升到顶峰之后，便开始走下坡路。
在过去谋权篡位的过程中，隋炀帝和他可谓是同舟共济，两人狼狈为奸，很好地合作了一番。待炀帝登上大位，坐稳江山后，感觉杨素对他已经没有什么作用。同时，杨素位极人臣，独揽大权，亲戚、子弟满朝廷，门生故吏遍天下，严重威胁着皇位。更让杨广疑惧的是，政变黑幕是杨素与他一手策划的，前因后果、细枝末节，杨素了如指掌，杨素可以帮助他篡位，也可以另立新帝取而代之。隋炀帝遂有铲除杨素之意。
杨素是精明的，他从炀帝对他的细微变化中揣摩到了炀帝对他的疑惧，这使得他的头脑由狂热趋向冷静，联想到自己的所作所为，及目前对炀帝的作用，预感将有灭顶之灾。杨广可以杀兄也可以弑弟，可以逼父也可以淫母，是丧尽天良的衣冠禽兽。他需要你时，你要求的或未要求的都可以满足你，给你高官给你厚禄，给你富贵给你荣华；一旦你失去了这个作用，尽管是因客观背景不存在而引起，或感到你威胁了他的一己私利，他完全可以翻脸不认人，立刻置你于死地。
想到这些，杨素竟忧愤成疾。隋炀帝表面上还是派名医诊断，并赐药治疗，暗地里却询问杨素何时能死？其唯恐杨素不死的心情昭然若揭。杨素知道自己的名位到了极限，已使皇帝感到不安。此时，他只希望自己快些死，所以不肯服药，他对弟杨约说：“我难道还想继续活下去吗？”
大业二年（公元606年）七月二十三日，杨素忧郁而亡，卒年约六十六岁。杨素不肯服药而亡，这只是他死亡的一种说法。还有一说，元德太子与素侍宴，炀帝令人进毒酒，太子误饮毒酒而亡，“素亦竟以毒毙”。此外还有其他说法。他的死与隋文帝一样，也是一个谜，但均非善终。
人称“媪相”的童贯
童贯早年出自大宦官李宪门下。他生性巧媚，处事机警，善于揣测皇帝的心思，大凡什么事，不用吩咐，就能承意办好。对后宫有头脸的妃嫔更是低眉顺眼、曲意奉承。同时也不吝啬钱财，巴结贿赂其他的宦官、大臣，所以大家在宋徽宗面前都“交口称赞”他，很快便被委以重任。徽宗登基的第二年，在苏州、杭州设置造作局、明金局，征集了各种工匠数千人，从事象牙、犀角、金银、玉器的琢磨雕刻以及编织竹藤、装裱书画、针织刺绣等项工作，为皇帝提供各种奢侈品。童贯就以供奉官的身份南下苏杭主持此事。
童贯果然不负帝望，一到江南便大肆搜刮民脂民膏，向皇帝进献大量造型奇巧、做工考究、精雕细刻的各种工艺品。