权，都是逐渐发展而来的，王莽凭借多年的积累获得权力，桓玄在朝代更替时奠定基础，最终王莽灭亡了汉朝，桓玄颠覆了晋朝的统治。陛下如果把杨素当作辅佐君主的重臣，我担心他的心思未必像伊尹那样忠诚。希望陛下借鉴古今的经验教训，酌情处置，使国家的大业永远稳固，天下百姓都能有幸安居乐业！”奏章呈上后，隋文帝大怒，下诏将梁毘逮捕入狱，并亲自审问他。梁毘极力陈述“杨素凭借宠信玩弄权术，率领军队的时候，杀戮无道。另外，太子杨勇、蜀王杨秀被废黜治罪的时候，文武百官没有不震惊恐惧的，只有杨素眉飞色舞、挥动手臂，面露喜悦之色，把国家的祸事当作自己的幸运。”隋文帝无法让梁毘屈服，于是释放了他。
此后，隋文帝也逐渐疏远猜忌杨素，于是下诏书说：“仆射是国家的宰相，不能亲自处理琐碎的事务，只需每隔三五天到尚书省一次，评论重大事务即可。”表面上表示优待尊崇，实际上是剥夺他的权力。杨素因此在仁寿末年，不再参与尚书省的事务决策。朝廷将杨约调出京城，担任伊州刺史。
杨素被疏远后，吏部尚书柳述更加受重用，代理兵部尚书，参与掌管机密事务；杨素因此憎恨柳述。
太子杨广问贺若弼说：“杨素、韩擒虎、史万岁都被称为良将，他们的优劣如何？”贺若弼说：“杨素是猛将，不是谋将；韩擒虎是斗将，不是领将；史万岁是骑将，不是大将。”太子说：“那么谁是大将呢？”贺若弼下拜说：“只有殿下您选择的人！”贺若弼的意思是自己可以担任大将。
交州俚人首领李佛子发动叛乱，占据越王故城，派遣他哥哥的儿子李大权占据龙编城，他的别部首领李普鼎占据乌延城。杨素举荐瓜州刺史、长安人刘方有将帅的谋略，隋文帝下诏任命刘方为交州道行军总管，统领二十七营军队进军讨伐。刘方军令严肃，有触犯军令的人必定斩首；但他爱护士兵，士兵有生病的，他亲自前往安抚慰问，士兵们也因此真心归附他。刘方的军队到达都隆岭，遇到叛军，将其击败。进军逼近李佛子的营地，先向他陈述祸福。李佛子感到害怕，于是请求投降，刘方将他押送到长安。
到了公元603年秋季，八月壬申日，隋文帝赐幽州总管燕荣自尽。燕荣性格严酷，随意鞭打身边的人，动辄达到上千下。他曾经看到路边的一丛荆棘，认为可以用来做刑杖，于是命令手下人将其取来，就用它来试探打人。有人自我陈述无罪，燕荣说：“以后你有罪的时候，就赦免你。”不久后这个人犯了罪，燕荣准备鞭打他，这个人说：“前几天我被鞭打，使君您答应我如果有罪就赦免我。”燕荣说：“无罪尚且要鞭打，何况有罪呢！”仍然像往常一样鞭打他。
观州长史元弘嗣调任幽州长史，担心被燕荣侮辱，于是坚决推辞。隋文帝下诏给燕荣说：“元弘嗣犯了应当鞭打十下以上的罪过，都必须上奏给我。”燕荣愤怒地说：“这个小子竟敢戏弄我！”于是派元弘嗣监管粮仓的粮食收纳，只要扬谷时发现一粒米糠或一粒瘪谷，都要处罚他。每次鞭打虽然不满十下，但一天之中，有时会达到三四次。这样过了几年，两人之间的怨恨越来越深。燕荣于是将元弘嗣逮捕入狱，断绝他的粮食，元弘嗣抽出衣服里的棉絮，混杂着水咽下去充饥。他的妻子前往皇宫喊冤，隋文帝派遣使者调查核实，使者上奏说燕荣暴虐无道，贪污受贿，声名狼藉；隋文帝将燕荣征召回京，赐他自尽。元弘嗣代替燕荣执政，他的残酷比燕荣还要严重。
九月壬戌日，朝廷下诏设置常平官。
这一年，龙门人王通前往皇宫，献上《太平十二策》，隋文帝不能采用，王通于是辞官回乡。王通在黄河、汾水之间讲学授徒，从远方前来求学的弟子非常多，朝廷多次征召他，他都没有应征。杨素非常敬重他，便劝说他出仕，王通说：“我有祖先留下的破旧房屋，足以遮蔽风雨，有微薄的田地，足以置办粥饭，读书谈道，足以自寻乐趣。希望明公您端正自身，治理天下，使时节和顺，年成丰收，我所得到的恩赐就已经很多了，不愿意出仕为官。”有人在杨素面前诋毁王通说：“他实际上是轻视您，您为什么要敬重他？”杨素以此询问王通，王通说：“如果您可以被轻视，那么我就有所得；如果您不可以被轻视，那么我就有所失：得失都在我自己，和您有什么关系！”杨素仍然像以前一样对待他。弟子贾琼询问如何平息诽谤，王通说：“不用辩解。”询问如何停止怨恨，王通说：“不要争斗。”王通曾经说：“不实行赦免的国家，刑罚必定公平；横征暴敛的国家，财富必定匮乏。”又说：“听到诽谤就愤怒的人，是谗言的孵化器；看到赞誉就高兴的人，是谄媚的媒介；断绝孵化器，除去媒介，谗言和谄媚就会远离。”大业末年，王通在家中去世，弟子们给他谥号为文中子。
突厥步迦可汗的部落发生大乱，铁勒仆骨等十几个部落，都背叛步迦可汗，归降启民可汗。步迦可汗的部众溃散，向西逃奔吐谷浑；长孙晟护送启民可汗，将他安置在沙漠口岸，启民可汗于是全部占有了步迦可汗的部众。