说：“至尊任命我为庶子，是希望我辅佐殿下，不是让我做殿下的弄臣。”杨勇感到惭愧，于是作罢。等到杨勇被废黜时，裴政和刘行本已经去世，隋文帝感叹说：“如果裴政、刘行本还在，杨勇不至于落到这个地步。”
杨勇曾经宴请东宫官员，唐令则亲自弹琵琶，演唱《娬媚娘》。洗马李纲起身对杨勇说：“唐令则身为东宫官员，职责是辅佐教导太子；却在大庭广众之下把自己当作歌舞艺人，演唱淫靡之音，污染视听。这件事如果被皇上知道，唐令则的罪责难以预料，难道不会连累殿下吗！我请求立刻治他的罪！”杨勇说：“我只是想取乐罢了，你不要多管闲事！”李纲于是快步退出。等到杨勇被废黜，隋文帝召见东宫官员严厉责备，众人都惶恐不安，没有人敢回应。只有李纲说：“废立太子是大事，如今文武大臣都知道这样做不合适，却没有人敢说话，我怎么敢怕死，不向陛下把话说清楚呢！太子的本性是中等水平，可以变好，也可以变坏。如果陛下当初选择正直的人辅佐他，他完全能够继承皇位，保住大业。如今却任命唐令则为左庶子，邹文腾为家令，这两个人只知道用弹唱、打猎来取悦太子，太子怎么会不落到这个地步呢！这是陛下的过错，不是太子的罪过。”说完趴在地上流泪呜咽。隋文帝沉默了很久，神色凄惨地说：“李纲责备我，并不是没有道理，但是你只知其一，不知其二。我选择你做东宫官员，而杨勇却不亲近信任你，即使再换正直的人，又有什么用呢！”李纲回答说：“我之所以不被太子亲近信任，确实是因为奸臣在他身边的缘故。陛下只要杀掉唐令则、邹文腾，再选拔贤才辅佐太子，怎么知道我最终会被疏远抛弃呢！自古以来，废黜嫡长子，很少有不导致国家危亡的，希望陛下慎重考虑，不要留下后悔。”隋文帝听后很不高兴，便结束了朝会，左右的人都为李纲感到害怕。恰逢尚书右丞一职空缺，有关部门请求任命人选，隋文帝指着李纲说：“这是合适的右丞人选！”立刻任命他担任尚书右丞。
太平公史万岁从大斤山返回，杨素嫉妒他的功劳，对隋文帝说：“突厥本来已经投降，最初并没有侵犯边境，只是来边塞放牧罢了。”于是压下了史万岁的功劳不报。史万岁多次上书陈述情况，隋文帝始终没有醒悟。隋文帝废黜太子后，正在彻底追查东宫的党羽。隋文帝问史万岁在哪里，史万岁其实就在朝堂上，杨素却说：“史万岁去拜见东宫太子了！”以此激怒隋文帝。隋文帝信以为真，下令召见史万岁。当时史万岁率领的将士有几百人在朝堂上喊冤，史万岁对他们说：“我今天一定向皇上为你们极力申诉，事情一定会有结果。”见到隋文帝后，史万岁说：“将士们立下功劳，却被朝廷压制！”言辞慷慨激昂。隋文帝大怒，命令左右侍从将他打死。不久后又派人去追悔，但是已经来不及了，于是下诏陈述史万岁的罪状，天下人都为他感到冤枉惋惜。
十一月戊子日，隋文帝立晋王杨广为皇太子。当天天下发生地震，太子杨广请求降低自己的礼仪等级，东宫官员不再对自己称臣。十二月戊午日，隋文帝下诏批准了他的请求。任命宇文述为左卫率。起初，太子杨广谋划夺取太子之位时，洪州总管郭衍参与其中，因此征召郭衍担任左监门率。
隋文帝把前太子杨勇囚禁在东宫，交给太子杨广掌管。杨勇认为自己被废黜是无辜的，便多次请求拜见隋文帝申诉冤情，但都被杨广阻止，无法上达。于是杨勇爬上大树大喊，声音传到隋文帝的住处，希望能被召见。杨素趁机说杨勇心神错乱，被疯鬼附身，已经无法挽救。隋文帝相信了他的话，最终没有召见杨勇。
起初，隋文帝攻克陈朝后，天下人都认为将会迎来太平盛世，监察御史房彦谦私下对亲信说：“皇上猜忌刻薄且残酷，太子软弱无能，各位藩王专权跋扈，天下虽然安定，却正在担忧会发生危乱。”他的儿子房玄龄也秘密对房彦谦说：“皇上本来没有什么功德，靠欺诈夺取天下，各个儿子都骄奢不仁，一定会自相残杀，如今虽然表面太平，但隋朝的灭亡指日可待。”房彦谦是房法寿的玄孙。
房玄龄和杜果兄长的孙子杜如晦都被选入朝廷任职，吏部侍郎高孝基善于识人，见到房玄龄后，感叹说：“我见过的人很多，没有像这位年轻人这样的，将来必定会成为栋梁之材，可惜我看不到他成就大业了！”见到杜如晦后，对他说：“你有随机应变的才能，一定会承担国家栋梁的重任。”高孝基把自己的子孙都托付给了他们。
隋文帝晚年深信佛教、道教和鬼神之说，辛巳日，首次下诏：“有盗窃、毁坏佛像以及天尊像、五岳、四镇、四海、四渎神像的人，按不道罪论处；和尚毁坏佛像、道士毁坏天尊像的人，按恶逆罪论处。”
这一年，征召同州刺史蔡王杨智积入朝。杨智积是隋文帝弟弟的儿子。他生性谨慎，家门没有私人拜访，生活简朴，隋文帝因此非常怜爱他。杨智积有五个儿子，只教他们读《论语》《孝经》，不让他们结交宾客。有人问他原因，杨智积说：“你不是了解我的人！”他的意思是担心儿子们有才能而