，想要割掉庆整的舌头，并且对群臣说：“应当将杨秀在闹市斩首，来向百姓谢罪。”于是命令杨素等人审理杨秀的案件。
太子杨广暗中制作了一个木偶人，捆住了它的双手，并在胸口钉上钉子，还给他戴上枷锁镣铐，上面写着隋文帝和汉王杨谅的名字，还写着“请求西岳慈父圣母派神兵收走杨坚、杨谅的魂魄，让他们像这样不得安宁”。然后秘密将木偶人埋在华山下，杨素派人挖了出来；又说杨秀胡乱编造图谶预言，声称京城有妖异之事，还伪造蜀地的吉祥征兆；另外还写了一篇檄文，上面写着“指日问罪”，将其放在杨秀的文书中，并将这些都上报给隋文帝。隋文帝说：“天下难道有这样的事情！”十二月癸巳日，下诏废黜杨秀为庶人，将他囚禁在内侍省，不许他和妻子儿女见面，只派两名獠人婢女侍奉他，受牵连被治罪的有一百多人。杨秀上奏表忏悔谢罪说：“希望陛下施以慈恩，给予怜悯，在我残命未尽之时，希望能和儿子瓜子见面；请求赐我一块墓地，让我的骸骨有地方安葬。”瓜子是杨秀的爱子。隋文帝于是下诏列举杨秀的十条罪状，并且说：“我现在不知道杨坚、杨谅是你的什么亲人？”后来才允许杨秀和他的儿子住在一起。
起初，杨素曾经因为一点小过失被隋文帝下令送到南台，命令治书侍御史柳彧审理他。杨素依仗自己的尊贵地位，坐在柳彧的坐床上。柳彧从外面进来看到后，在台阶下手持笏板，整理好衣冠，对杨素说：“奉陛下的命令审理您的罪过！”杨素连忙下床。柳彧坐在案前，让杨素站在庭院中，盘问案件情况。杨素因此对柳彧怀恨在心。蜀王杨秀曾经向柳彧索要李文博撰写的《治道集》，柳彧给了他；杨秀送给柳彧十名奴婢。等到杨秀获罪，杨素上奏说柳彧作为内臣结交诸侯，应当将柳彧削职为民，发配到怀远镇戍边。
隋文帝派司农卿赵仲卿前往益州彻底追查杨秀的案件，杨秀的宾客所经过的地方，赵仲卿必定刻意罗织罪名，加以法办，受牵连被治罪的州县长官超过一半。隋文帝认为赵仲卿有能力，对他的赏赐非常丰厚。
过了很久，贝州长史裴肃派遣使者上书，说：“高颎凭借天生的杰出才能，作为开国元勋辅佐陛下，被众人嫉妒，以至于被废弃不用；希望陛下记住他的大功，忘记他的小过。另外，两名庶人（杨勇、杨秀）获罪已经很久了，难道没有悔改之心吗？希望陛下弘扬君主和父亲的慈爱，顾念父子天性的道义，给他们各自封一个小国，观察他们的所作所为：如果能够向善，再逐渐增加他们的封地；如果仍然不知悔改，再贬削也不晚。如今他们改过自新的道路永远断绝，愧疚后悔的心情无法显现，难道不令人悲哀吗！”奏章呈上后，隋文帝对杨素说：“裴肃关心我家的事情，这也是出于至诚。”于是征召裴肃入朝。太子杨广听说后，对左庶子张衡说：“陛下让杨勇改过自新，是想要做什么？”张衡说：“观察裴肃的意思，是想让杨勇像吴太伯、汉朝的东海王刘强那样（主动让贤）。”裴肃到达京城后，隋文帝当面告诉他杨勇已经无法挽回的意思，然后让他回去了。裴肃是裴侠的儿子。
杨素的弟弟杨约，以及叔父杨文思、杨文纪，族叔杨忌，都担任尚书、列卿等官职；杨素的儿子们没有立下汗马功劳，却位居柱国、刺史；杨家大肆经营产业，从京城到各地的大都会，府邸店铺、水磨、肥沃的田地和住宅，数不胜数；家中有奴仆几千人，后庭中穿着绫罗绸缎的妓妾有上千人；宅第豪华奢侈，规格模仿皇宫；亲戚、旧部下和官吏遍布朝廷的重要职位。杨素已经废黜了一名太子和一名藩王，权势因此更加显赫。朝臣中有违抗他的人，有的甚至被诛杀全族；有依附他或者是他亲戚的人，即使没有才能，也必定会得到提拔，朝廷上下都随风而倒，没有人不畏惧依附他。敢于和杨素对抗而不屈服的，只有柳彧、尚书右丞李纲和大理卿梁毘罢了。
起初，梁毘担任西宁州刺史，共任职十一年。当地蛮夷酋长都以金子多的人为豪杰，互相攻打掠夺，没有安宁的年份，梁毘对此感到忧虑。后来趁着各位酋长一起送金子给梁毘，梁毘把金子放在座位旁边，对着金子痛哭，并且对他们说：“这种东西饥饿时不能吃，寒冷时不能穿，你们因为它互相残杀，死伤无数，如今把它送来，是想要杀我吗！”因此一点金子也没有接受。于是蛮夷酋长们受到感化，不再互相攻击。隋文帝听说后，称赞梁毘的做法得当，便征召他担任大理卿，梁毘审理案件公正适当。
梁毘看到杨素专权，担心会成为国家的祸患，于是呈上密封的奏章说：“我听说臣子不能作威作福，否则会危害家族，祸乱国家。我私下看到左仆射、越国公杨素，受到的宠幸越来越隆重，权势日益兴盛，士大夫们都要看他的眼色行事。违抗他旨意的人，就像严霜在夏天降临一样遭受打击；迎合他旨意的人，就像甘雨在冬天降下一样得到好处；官员的荣辱由他的言语决定，朝政的废兴等待他的指示；他所亲近的都不是忠诚正直的人，所提拔的都是他的亲戚，他的子弟分布在各地，占据多个州县。天下太平的时候，他可能还会容忍，不会有别的图谋；一旦天下有变故，他必定会成为祸乱的开端。奸臣专擅大