杨素本人，便是一员骁勇之将，勇猛顽强是他的作战特点。北周时期，他曾随宇文宪征讨北齐，宇文宪兵败而逃，齐兵紧追其后。为护主逃生，杨素英勇无畏，仅率十几名卫士与北齐大军搏斗，竟拼杀出一条血路来。因此，杨素带兵作战，分外强调勇猛无畏与坚持不懈的战斗精神。两军对阵，他不是指挥全军冲杀，而是将兵士分批派出。第一回合，他只派出一二百人的小队冲锋，要求兵士全胜而归，败逃者立斩于阵前；同时，他选出二三百人作为第二队准备其后，并依次安排第三队、第四队等列阵以待。他下达死令：各队兵士或战胜敌人，或战死敌阵，如前一队尚未灭敌而败逃回来，则后面的梯队须先把退回的将士杀尽，再接着冲杀。如此往复，直到取胜为止。战斗开始，他命令擂鼓助威，士兵们踏着战友的鲜血拼命冲向敌阵，悍勇无比。杨素采用这样血腥残酷的战法，迫使兵将冲锋陷阵，以死拼杀，使敌方心生畏惧。在死亡的威胁下，兵士们只得抱着必死的决心奋勇直前，战斗力自然强大，杨素的军队因而鲜有败绩。
2.军纪严明，恩威并施
军纪严明也是杨素之军能够屡获战功的重要因素。杨素严令部下对途经之地的百姓做到秋毫无犯，如有违令者，无论官职大小、立功多少，一律格杀勿论，绝不姑息纵容。为了严整军风、鼓舞士气，战前他总要先整治部队，罪责不问大小，凡有过失者，皆拉至军前斩杀，以儆效尤。每次肃军，获斩者动辄几十人，多则近百，经常是尚未出战，兵卒已横尸阵前。如此警示部队，兵将早已看得心惊胆战，而他却依旧谈笑自若，一副若无其事的样子。在他的整治下，其部队兵将皆恪守军规，严执军令，战斗起来更是如铁军一般无坚不摧，所向披靡。杨素对部将兵士冷面无情，却能宽待俘兵，实行优待政策，对所获俘虏，他不予辱杀，总是将其释放，也由此大获人心。
虽然杨素是出名的冷血将帅，战法残忍，愿意入他营中卖命的兵士却不少，这是为何？首先，杨素治军严格，但亦懂得恩威并施。他深得文帝信任，且位高权重，总能抢得头功，其部下兵将稍有功绩，便可封官受赏；而其他的将领，即使有功，也常被奸佞小人所馋而不得分赏，随战的将士出生入死却得不到回报，作战的积极性顿时受挫。因此，许多勇士都愿意随杨素出征。其次，杨素虽军规严酷，却能做到一视同仁，他自己作为将帅，总是身先士卒，亲为表率，兵将们自然没有怨言。再次，杨素足智多谋，考虑周全，他指挥作战，颇有胜算，军队损失较小，兵将只要奋力冲杀，很少会枉送性命。
在其独特而残酷的治军方法下，杨素旗下的将士个个能征善战，英勇无畏，因而他的军队总是逢战必胜，屡建奇功。连凶悍无比的突厥大军都令其闻风而逃，可见杨素之军的强大战斗力。
成人之美，佳话流传
1.破镜重圆
战场上“流血盈前，言笑自若”的杨素凶狠绝情，而生活中的他还有另一副面孔。有着“英杰之表”，且“不拘小节”的越公，还曾成全过几段爱情佳话。
陈朝灭亡后，隋文帝将陈后主之妹乐昌公主赏于杨素为妾，乐昌公主因“才色冠绝”，深得杨素宠爱。公主曾嫁给陈太子舍人徐德言为妻。动乱之时，徐德言恐国破家亡后夫妻失散，便把一面铜镜破为两半，夫妇各执一半，以作日后联络的信物。果然不久陈灭，夫妻失散。徐德言经过长途跋涉终于觅得妻子下落，并以铜镜联络到了嫁入杨府的公主。乐昌公主看到镜后题诗：“镜与人俱去，镜归人不归。无复嫦娥影，空留明月辉！”，念及旧爱，悲伤不已。杨素听完公主的讲述后为之所动，于是忍痛割爱，将乐昌公主交还给徐德言，使得“破镜重圆”，并送给他们大量钱财。
此事令“闻者无不感叹”，杨素宽容大度、成人之美的爱情佳话也流传至今，成为美谈。
2.红拂夜奔
唐书《虬髯客传》中记载了“风尘三侠”的故事：李靖年轻时才质过人，受到仆射杨素的赏识，他常被邀至相府，与杨素畅论国事。杨素身边有一个手持拂尘的侍妾，名唤“红拂”，她的容貌气性皆宛若“天人”。红拂看上了当时还是一介布衣的李靖，竟夜投英雄，大胆示爱，还跟着李靖私奔了。杨素得知侍妾私奔，因爱惜李靖之才，并未予以追究。后来李靖入仕隋朝，做了马邑的郡丞，入唐后又建功勋无数。
杨素豪迈豁达，“不追红拂妓，放乐昌”（冯梦龙《情史类略》），玉成佳偶，又成就一段佳事。
3.慨释偷情
李百药是杨素朝中同僚李德林之子，他聪慧机智，自幼被喻为神童。他迷恋杨素的一个宠妾，竟然色胆包天，趁夜潜至杨府与其私会。结果东窗事发，杨素将他捉奸在床，正欲动怒，却发现李百药“年未二十，仪神隽秀”，似有才之人。杨素一时惜才，有心放他一马，便说：“闻汝善为文，可作诗自叙，称吾意当免汝死”。松懈绑绳后的李百药接过纸来，挥笔成诗。杨素看完后，对其诗作大加赞赏，不仅释放了李百药，还把爱妾嫁给他，“并资从数十万”，作为礼金。后来李百药做了隋朝的尚书礼部员外郎，也是受杨素的推荐。
李百药因祸得福，美女与财富并收，还官运亨通，这等好事，若非杨素爱才，恐怕只能是个奇迹了。古今之人，能大方到献出爱侣已是难得，而杨素竟亲手成全了三桩美事，真是令人佩服。他惜才之甚，可见一斑！
阴险权奸，多面能臣
1.惜才妒才，矛盾一身
杨素惜才有名，李靖、李密、封德彝等人皆曾受过他的礼遇和提携，他可以说是善掘新秀的伯乐。但如此不遗余力地助荐人才的杨素，同时，也是个嫉妒同僚、暗害能将的佞臣。
隋朝四大名将中的史万岁，官至左卫大将军，他才干过人，体恤下士，是有名的百战之将。他曾是杨素的副将，随杨素平定江南的叛乱，因在战斗中频立军功而升至将领。可以说，史万岁也是曾获杨素提拔的新人。
后来突厥犯境，史万岁与杨素各为将帅统兵出战，战后他功绩卓著，竟盖过了杨素之军。杨素妒忌其功，便向隋文帝进言道：“突厥本降，初不为寇”，还说史万岁是为了邀功而进攻突厥。结果史万岁非但未获奖赏，还受到隋文帝的猜忌。
时值太子杨勇被废，隋文帝正在追查太子的党羽，杨素谎称史万岁正在拜谒东宫，文帝听信，立即传来史万岁。史万岁正欲上表战功，遂言：“将士有功，为朝廷所压抑”。文帝大怒，立即以“怀诈要功”的罪名，将史万岁当堂暴打至死。杨素一句讹传，便令史万岁惨死，其阴险毒辣，由此可视。
这样看来，杨素的性格很矛盾，不过这也不难理解。杨素才智非凡，文韬武略，无所不通，加上出身将门，内心当然骄傲自负。前朝周武帝曾夸他道：“善自勉之，勿忧不富贵。”他却回应：“臣但恐富贵来逼臣，臣无心图富贵。”从这回答中就能看出他有多么负气。他提拔人才，前提是他得居于高位。若后辈人才威胁到他的地位，盖过了他的负气，那必遭打击。
2.陷害忠良，操纵朝政
杨素当政后，权倾朝野，为了维护自己的地位，他除了打击功高的能臣，还不断地剪除异己，朝臣中稍有不肯附和者，杨素便会对其施以暗害。名将贤臣贺若弼、高熲、李纲、柳彧等，都遭到杨素的陷害和排挤。
侍御史柳彧是著名的谏臣，其正直曾被文帝赞为“国之宝”。杨素曾因犯小过，被送交柳彧治罪。杨素依恃相位，狂傲无礼，柳彧刚直不阿，秉公审讯杨素，还面斥其罪。杨素丢了面子，对他心怀记恨。
公元602年，蜀王杨秀被废黜，杨素趁机诬告柳彧通过内臣与诸侯传信。文帝未加详查，便将柳彧贬为平民，流放到怀远镇。当时汉王杨谅举兵谋反，柳彧不知内情，做了汉王的谋臣，发现杨谅谋反已为时太晚。杨素攻陷晋阳，押柳彧回京师，诬告他心怀不轨，亦有谋反之意，将他流放敦煌。直到杨素死后，柳彧才得调回京，却不幸亡于途中。尚书右丞李纲也是耿直之臣，他不肯归附杨素，同样也遭到杨素的陷害，被调离京都。
3.废立太子，从中作梗
杨素被后人定为一代权奸，与他暗助隋炀帝杨广即位有重大关系。
隋朝建立之初，长子杨勇被立为太子，杨广为争皇位，暗使花招，并勾结权臣杨素，欲夺帝位。
隋文帝一贯勤俭，而太子杨勇却生活奢侈，贪图享乐，因此文帝对杨勇颇有看法。杨素便抓住这一点，在文帝面前经常诋毁太子杨勇。久而久之，文帝对杨勇的印象越来越差，晋王杨广却伪装得恭孝勤俭，文帝便有了换太子之意，欲以晋王杨广接替太子之位。
文帝四子蜀王杨秀与杨勇交好，得知父亲想废除太子，便欲起兵拥立杨勇。杨广惧于杨秀的势力，便暗地令杨素向文帝谗陷蜀王。杨素依言而行。杨广又暗制木偶，与杨素勾结，诬告杨秀以巫蛊之术加害圣上，文帝大怒，废秀为庶人，囚于内侍省。
公元702年，杨勇被废做“庶人”，杨广荣登储位。在杨素一手操纵下，暴君隋炀帝终获帝位。
杨广做了皇帝后，并没有感怀杨素，同样阴险的隋炀帝对权势过高的杨素始终怀有猜忌，遂对他“外示殊礼，内情甚薄”。不久，杨素忧郁成疾，隋炀帝虽然常派名医诊断，却密向医生探问杨素死期。杨素深知自己名位至极，大限已到，曾对其弟杨约说：“我岂须更活耶？”于是拒绝服药。公元606年，一代权臣杨素病死于洛阳家中，终年六十六岁。
关于杨素之死，还有一种说法，称其是在与元德太子杨昭宴饮时，误饮了隋炀帝派人送来的毒酒，毒发身亡。不过说法不定，杨素的死至今仍是一个谜。