杨广在杨素的支持下，靠阴谋手段夺得帝位。开始对杨素自然以恩相视之，礼遇备至，各种赏赐更不在话下。但杨素的骄横无礼使他逐渐感到难以忍受。尤其是杨素在平定汉王杨谅之乱后，更是居功自傲，盛气凌人，由此炀帝愈加忌之。而且每当炀帝想起杨素协助他阴谋篡弑的过程，心理便感到很不自在：杨素既然能谋废杨勇、加害文帝，难道今后能保证他不对自己下毒手吗？另外，杨素那威风凛凛的派头也足以令他畏忌。“一日，帝与素钓鱼于池，与素并坐，左右张伞以遮日色。帝起如厕，回见素坐赭伞下，风骨秀异，堂堂然。“帝大疑忌”。所以，杨素“特为帝所猜忌”，虽“外示殊礼”，但“内情甚薄”。
对于炀帝的猜忌，机敏的杨素早已观察到了，但他未动声色。
大业二年（606年）七月，虽然年老但依然精神矍铄的杨素突然病倒了。在杨素卧病期间，“帝每令名医诊候，赐以上药，然密问医者，恒恐不死”。对此，杨素心里也完全清楚。终极的富贵，皇帝的猜忌以及疾病的折磨，此时已使杨素丧失了求生的欲望，他感到已不再有什么目标能鼓舞自己为之继续奋斗进取了，他对人生已失去兴趣。素又自知名位已极，不肯服药，亦不将慎，每语弟约曰：“我须更活耶？”杨素终于一病不起而死去，结束了他功名显赫而又充满罪恶的一生。
关于杨素之死，还流传着一种被炀帝谋害的说法：元德太子杨昭自长安来朝，突然死去；数日后杨素亦死，这都是炀帝所致。《杂记》云：“初，太子之遘疾也，时与杨素同在侍宴，帝既深忌于素，并起一同至，传酒者不悟是药酒，错进太子，既饮三日而毒发，下血二斗余。宫人闻素平常，始知毒酒误饮太子，秘不敢言。太子知之，叹曰：‘岂意代杨素死乎？命也！’数日而薨，后素亦竟以毒毙。”但正史并无此说，姑录之以存疑。
杨素死后，炀帝对近臣说；“使素不死，终当夷族。”此事后被杨素之子杨玄感闻知。他“自以累世贵显，在朝文武多父之故吏，见朝政日紊，而帝多猜忌，内不自安，乃与诸弟潜谋作乱”。后玄感兴兵叛乱，兵败自杀，杨素诸子皆坐玄感罪而被诛杀。杨素没能给他的子孙带来永享的富贵，却落得个家破人亡的可悲下场。
杨素是历史上著名的权奸之一。但他又不同于一般的权奸，而具有自己的强烈特色。他是隋朝的开国勋臣，又是隋朝的祸国元凶；他在战场上不失为叱咤风云的英雄，而在朝堂内又是一个地道的谮妄小人；他有非凡的风采和气度，但又是一个贪侈营财的庸人。总之，杨素终未脱奸臣本色。这样的奸臣，更发人深思，因而也更能增强人们剖析研究他的兴趣。