恪；王良媛生下高阳王杨该、建安王杨韶；成姬生下颍川王杨煚；后宫还生下杨孝实、杨孝范。独孤皇后因此对他更加不满了，还多次派人暗中监视，寻找杨勇的过错。晋王杨广则极力伪装自己，只和萧妃居住在一起，后宫有孩子都不养育，独孤皇后因此多次称赞杨广贤德。对于掌权的大臣，杨广都倾心结交。隋文帝和独孤皇后每次派身边的人到杨广那里，无论地位高低，杨广都会和萧妃亲自到门口迎接，为他们准备丰盛的饭菜，并送上厚重的礼物；来往的奴婢仆人，没有不称赞他仁孝的。隋文帝和独孤皇后曾经亲临他的府邸，杨广把所有美丽的姬妾都藏到别的房间，只留下年老丑陋的，让她们穿着朴素的衣服，在身边侍奉；屏帐改用素色的细绢；故意弄断乐器的琴弦，不让人拂去上面的灰尘。隋文帝看到后，认为他不喜好声色，回到宫中后，便告诉侍臣，心里非常高兴。侍臣们都表示祝贺，从此，隋文帝对杨广的喜爱超过了其他儿子。
隋文帝暗中让善于相面的来和逐一观察各个儿子，来和回答说：“晋王眉毛上方的两块骨头隆起，富贵不可言说。”隋文帝又问上仪同三司韦鼎：“我的几个儿子中，谁能继承皇位？”韦鼎回答说：“至尊、皇后最喜爱的人，就会把皇位传给谁，这不是我敢预先知道的。”隋文帝笑着说：“你不肯明说吗！”
晋王杨广容貌俊美，仪态端庄，生性聪慧，深沉稳重；爱好学习，擅长写文章；恭敬地接待朝中大臣，礼节极为谦卑；因此声名远扬，在诸王中位居第一。
杨广担任扬州总管，入朝觐见后，即将返回藩镇，入宫向独孤皇后辞行，趴在地上流泪，独孤皇后也潸然泪下。杨广说：“我生性愚笨，一直坚守兄弟之间的情谊，不知道犯了什么罪过，失去了东宫太子的喜爱，他常常心怀怒气，想要陷害我。我每次都担心会像曾参那样，因为别人的流言蜚语而被怀疑，或者在饮食中遭遇毒杀，因此忧心忡忡，害怕遭遇危险和死亡。”独孤皇后愤怒地说：“睍地伐（杨勇的小名）越来越让人无法忍受！我为他娶了元氏女子，他竟然不以夫妇之礼对待她。专门宠爱阿云，生下这么多猪狗一样的孩子。之前元氏媳妇被毒害而死，我也没能彻底追查，他为什么又对你有这样的想法！我还在世他就敢这样，我死后，他难道不会把你们当作鱼肉任意宰割吗！每次想到东宫没有嫡长子，等至尊百年之后，让你们兄弟向阿云的儿子跪拜问安，这是多么痛苦的事情啊！”杨广再次下拜，呜咽不止，独孤皇后也悲痛不已。从此，独孤皇后下定决心要废黜杨勇，立杨广为太子。
杨广向来和安州总管宇文述关系友好，想要让宇文述亲近自己，于是上奏朝廷，任命他为寿州刺史。杨广尤其亲近信任总管司马张衡，张衡为杨广谋划了夺取太子之位的策略。杨广向宇文述询问计策，宇文述说：“皇太子失宠已经很久了，没有听说他有什么美好的德行传遍天下。大王以仁孝着称，才能盖世，多次领兵出征，立下赫赫战功；皇上和皇后都非常喜爱你，天下百姓的期望，实际上都寄托在大王身上。然而，废立太子是国家大事，涉及父子骨肉之间的关系，实在不容易谋划。不过，能够改变皇上心意的，只有杨素一人，而杨素谋划事情，只会和他的弟弟杨约商量。我向来了解杨约的为人，请允许我前往京师，与杨约相见，共同谋划这件事。”杨广非常高兴，拿出很多金银珠宝，资助宇文述入关。
当时杨约担任大理少卿，杨素无论做什么事情，都会先和杨约商议，然后再付诸实施。宇文述邀请杨约见面，陈列了大量珍贵的器物古玩，和他畅饮，接着一起赌博，每次都假装输了，把带来的金银珠宝全部输给了杨约。杨约得到的财物越来越多，逐渐向宇文述表示感谢。宇文述趁机说：“这些都是晋王赏赐的，让我和你一起玩乐罢了。”杨约大惊说：“为什么要这样？”宇文述于是转达了杨广的意思，劝说他：“坚守正道、遵循礼仪，本来是臣子的常道；但违背常规而合乎道义，也是通达之人的良策。自古以来，贤能的君子，没有不顺应时势变化来躲避祸患的。你和兄长杨素，功劳名声盖世，当权执政已经多年了，被你们家羞辱过的朝臣，数不胜数！另外，皇太子因为他的愿望不能实现，常常对执政大臣咬牙切齿；你虽然深得皇上信任，但想要危害你们的人本来就很多！皇上一旦驾崩，你们又能依靠谁呢！如今皇太子失去了皇后的喜爱，皇上也早有废黜他的心意，这是你知道的。现在如果能劝说皇上立晋王为太子，这件事只在你兄长杨素的一句话罢了。如果真能在这个时候立下大功，晋王一定会永远铭记在心，这样你们就能摆脱危如累卵的处境，成就稳如泰山的安全。”杨约表示同意，于是把这件事告诉了杨素。杨素听后，非常高兴，拍着手说：“我的智谋，远不如你，多亏你提醒我。”杨约知道计策可行，又对杨素说：“如今皇后的话，皇上没有不听从的，应该趁机早日主动结交皇后，这样才能长久保住荣华富贵，传给子孙后代。兄长如果犹豫不决，一旦情况发生变化，让太子掌权，恐怕灾祸很快就会降临了！”杨素采纳了他的建议。
几天后，杨素入宫侍奉宴会，委婉地说：“晋王孝顺友爱、恭敬节俭