，和皇上很相似。”用这句话揣摩独孤皇后的心意。独孤皇后流泪说：“你说得对！我的儿子非常孝顺，每次听说皇上和我派使者去，一定会到边境迎接；说起分别的事情，没有不流泪的。而且他的妻子也非常可怜，我派婢女去，她常常和婢女一起吃饭睡觉。哪里像睍地伐，和阿云对坐，整天饮酒作乐，亲近小人，猜忌疏远骨肉兄弟！我之所以更加疼爱阿麻女（杨广的小名），是因为常常担心他被睍地伐暗中杀害。”杨素知道了皇后的心意后，就极力述说太子杨勇没有才能。独孤皇后于是赠送金银给杨素，让他劝说隋文帝废立太子。
杨勇对他们的谋划颇有察觉，心中忧虑恐惧，却想不出应对的办法，于是派新丰人王辅贤制作各种诅咒制胜的器物；又在后宫花园里建造了一个平民村，房屋简陋，杨勇时常在里面居住，穿着粗布衣服，铺着草席，希望以此来避祸。隋文帝知道杨勇心神不宁，便在仁寿宫派杨素去观察杨勇的所作所为。杨素到了东宫，故意在外面休息，不进去拜见，杨勇穿戴整齐等待他，杨素却故意拖延很久才进去，以此激怒杨勇；杨勇心中的怨恨之情，表现在言语和神色上。杨素回去后对隋文帝说：“太子心怀怨恨，恐怕会发生变故，希望陛下多加防备！”隋文帝听了杨素的诋毁，对杨勇更加猜疑了。独孤皇后又派人暗中监视东宫，哪怕是极小的事情，都会上报给隋文帝，并且加以歪曲夸大，来构成杨勇的罪状。
隋文帝于是疏远并猜忌杨勇，在玄武门到至德门之间设置了侦察人员，来监视杨勇的动静，所有事情都会随时上报。另外，东宫的侍卫人员，凡是侍官以上的，名册都划归到各个卫府管辖，有勇力的人都被调离。隋文帝还把左卫率苏孝慈调出京城，担任淅州刺史，杨勇因此更加不高兴了。太史令袁充对隋文帝说：“我观察天象，皇太子应当被废黜。”隋文帝说：“天象早就显现了，只是群臣不敢说罢了。”袁充是袁君正的儿子。
晋王杨广又命令督王府军事、姑臧人段达私下贿赂东宫受宠的大臣姬威，让他监视太子的动静，并将这些事秘密报告给杨素；于是朝廷内外到处都是对杨勇的诽谤，他的过失每天都能传到隋文帝耳中。段达趁机威胁姬威说：“太子的过失，皇上都已经知道了。皇上已经下达密诏，决定废黜太子；你如果能告发太子，就会得到大富贵！”姬威答应了，立即上书告发杨勇。
秋季，九月壬子日，隋文帝从仁寿宫返回京城。第二天，驾临大兴殿，对侍臣说：“我刚回到京城，本应心情舒畅；不知道为什么，反而闷闷不乐、忧愁烦恼！”吏部尚书牛弘回答说：“我们这些做臣子的不称职，所以让至尊忧虑操劳。”隋文帝已经多次听到对杨勇的诋毁，怀疑朝臣们都知道了废立太子的事情，所以在众人面前发问，希望听到关于杨勇的过失。牛弘的回答不符合他的心意，隋文帝于是脸色一变，对东宫的官员说：“仁寿宫离京城不远，但我每次返回京城，都要严密防备，就如同进入敌国一样。我因为腹泻，不敢脱衣服睡觉。昨天夜里想要去厕所，担心后宫有紧急情况，于是又移到前殿居住，这难道不是你们这些人想要败坏我的家业吗！”于是下令逮捕太子左庶子唐令则等人，将他们交给有关部门审讯；命令杨素向亲近的大臣陈述东宫的情况。
杨素于是公开说：“我奉陛下的命令返回京城，让皇太子核查刘居士的残余党羽。太子接到诏书后，脸色大变，情绪激动，怒不可遏，对我说：‘刘居士的党羽都已经伏法了，让我到哪里去追查！你担任右仆射，责任重大，应该自己去核查，和我有什么关系！’又说：‘当年如果大事不成（指隋文帝夺取天下时），我首先会被诛杀，如今皇上当了天子，竟然让我不如各个弟弟，任何事情都不能自作主张！’接着长叹一声，回头看着我说：‘我觉得自己太碍事了。’”隋文帝说：“这个儿子早就不能胜任皇位继承人了，皇后一直劝我废黜他。我因为他是我平民时期所生，又位居长子，希望他能逐渐改正错误，所以一直忍耐到现在。杨勇曾经指着皇后的侍女对别人说：‘这些都是我的东西。’这句话听起来多么奇怪！他的妻子元氏刚去世时，我非常怀疑她是被毒害的，曾经责备过他，杨勇立刻怨恨地说：‘我迟早会杀了元孝矩（元氏的父亲）。’这是想要害我，却把怒气发泄到别人身上。长宁王（杨俨）刚出生时，我和皇后一起抚养他，杨勇却心怀猜忌，多次派人来索要。而且云定兴的女儿，是在外面私通生下的孩子，想到她的出身，怎么能确定是杨勇的亲生儿子！过去晋朝的太子娶了屠夫的女儿，他们的儿子就喜欢屠杀。如今如果太子的儿子不是亲生的，就会扰乱皇家宗庙。我虽然德行比不上尧、舜，但终究不会把天下百姓交给不成器的儿子！我一直害怕他会加害于我，防备他就像防备强大的敌人一样；现在我想要废黜他，来安定天下！”
左卫大将军、五原公元旻劝谏说：“废立太子是大事，如果诏书下达，后悔就来不及了。谗言没有边际，希望陛下明察。”
隋文帝没有回应，而是命令姬威详细陈述太子的罪恶。姬威回答说：“太子向来和我说话，一心只想着骄奢淫逸，还说：‘如果有劝谏我的人，就应