针对此种情况，杨素和刘仁恩率军登陆，从岸上攻占了吕忠肃的营栅，然后从容毁掉铁索，继续挥师东下。忠肃心有不甘，又在荆门布阵以待，组成了第三条封锁线。这次，杨素派出千余名在当地招募的土着士兵，他们熟习水性，分乘四艘五牙大舰，充分利用己方船身大的优势，在江面上左冲右突，把一艘艘陈朝的舰只撞得粉碎。吕忠肃单人逃脱，两千甲士被俘。经此三战，陈朝在长江上游的力量被完全肃清，杨素大军一路高奏凯歌直下汉口，与皇子杨俊率领的大军胜利会师。
杨素是个性情中人，不善隐藏自己的个人感情和政治倾向，总是喜怒形于色。他的发妻郑氏，生性刁顽，有一次在气头上，便愤愤不平地对郑氏说：“我如果做皇帝，你别想当皇后！”不想郑氏把这话告诉了杨坚，臣下想做皇上，这还了得，幸亏杨坚了解杨素的为人，知道他说的是气话，便从轻发落，给了他一个停职反省的处分，但是这个处分丝毫没有改变他的言行。
隋朝平定江南、灭陈以后，杨素因功进爵，受封为郢国公。不知怎么他对“郢”字特别反感，便又找杨坚闹着改封，也难为了他竟然引经据典，说出了两条理由，杨素说：“过去有个小村庄名叫胜母，大孝子曾子路过的时候就拒绝进入，因为这个村子的名字不顺；而本朝前任受封于郢的，是王谊这个叛逆，我不愿与他一样。”这下勾起了杨坚的往事。王谊与杨坚本是同学加亲家，后来两人翻脸，王谊被赐死于家，杨坚心里也不好受，尤其杨素最后一句话语带双关，他的潜台词是，前次封在郢的王谊叛逆，赐死于家，我不愿落个这样的下场，你皇上恐怕更不愿，我杨素将来也叛逆吧，杨坚想想也有道理，便改封杨素为越国公。
杨素自小即志向远大，眼界当然也颇高。满朝文武之中，他只推重三人，一个是曾经提拔推荐他的恩公高颖，一个是他小时候的同窗挚友牛弘，另一个是文采过人的文友薛道衡。对于这三人，杨素从不掩饰自己的推崇和夸赞。对于其他朝臣权贵，杨素远没有这么大度和客气。相反，准要是得罪了他，哪怕一点点小事，他也会怀恨在心，找着机会就要报复一下。
特别是如果反对他的霸道，危及他的权势，那是一定要置之死地而后快的。许多忠心耿耿的大臣就是这样被革职免官，或充军发配，有的甚至丢了性命。当时朝野之士一致认为，论个人的文武才气，格调风貌，高颖不如杨素，但是若讲推诚体国，公允正直，具备宰相气度，则杨素比高颍差远了。
杨素颇受非议的就是他对财富的追求，一点也不亚于对权势的追求，由于屡立战功，次次都获赏颇丰，也由于他权大势大，强取豪夺，当然也不排除经营有方的原因，杨素积累了巨额资产，说他是隋朝首富一点也不夸张，在当时的东西二京，都拥有大片的豪华住宅，其壮观华丽可与皇宫媲美，全国各地都有他经营的店铺田宅，每天究竟进多少财，他自己也说不清楚，他光家仆就有几千，还娶了一群姬妾舞女，侍女就有1000多人，这些人都披金挂银，穿绸着缎，他一门子孙亲戚，虽无什么功绩，也个个官居显要，真可谓荣盛至极。
晋王杨广想夺取太子之位，见杨素有权有势，就屈尊像对待父亲一样对待他，杨素十分高兴，对身边的人说：“这个小子很让人疼爱，日后我要提拔他。”一天晚上，文帝邀请杨素到宫中赏月，杨素借机说道：“太子是国家根本，太子要贤，天下就能安定，若太子不遵循礼法，就不是可以担负国家大事的人物。”在旁边的独孤皇后也附和杨素，称赞杨广，认为太子杨勇，不能担当国家重任，在这种情况下，文帝废了杨勇的太子之位，改立杨广。
后来，杨广趁文帝生病期间，调戏其宠妃，文帝知道后，让杨素尽快叫来杨勇，杨素却不奉诏，文帝十分生气，说：“你受到我的厚恩，却不知道感激我，反而恩将仇报，坏我家大事。你欺我病重不能杀你，我死后绝不饶你。”不久，文帝驾崩，杨素辅佐杨广登基做了皇帝，但是杨素视杨广为儿戏，上殿从来不拜，奏事也不称名，杨广拿他毫无办法，一天早朝后，杨素刚要退班，突然绕宫殿而走，边走边说：“臣有负文帝厚恩，罪该万死。”说完，倒地而死。
杨素死后不久，他的儿子杨玄感竟起兵作乱，反对杨广，被剿灭以后，杨广将他满门子孙尽数抄斩，杨素生前恐怕万万想不到会有如此结局，作为一代名相，杨素文武全才，胆识过人，为隋朝的建立与稳定立下了赫赫功勋。
出将，杨素能纵横驰骋，决战沙场；入相，杨素能经世致用，安邦定国，实是一位不可多得的人才，可惜他在权势日重之时，任人唯亲，排斥异己，受到后人的讥讽，作为一个军事家和政治家，他的功与过是那么的分明，作为一个有血有肉的个人，他又是那么的大开大阖，率情用事。
