：“我身为上柱国，家中财富累计数万金，至于富贵，我已经无所求了。如今不顾灭族之险起兵，只是为了天下百姓解除倒悬之苦！”众人都非常高兴。父老乡亲争相献上牛酒，年轻人前往军门请求效力的，每天有上千人。
内史舍人韦福嗣是韦洸的侄子，从军抵御杨玄感，被杨玄感抓获；杨玄感对他厚礼相待，让他与党羽胡师耽共同掌管文书。杨玄感命令韦福嗣写信给樊子盖，列举炀帝的罪恶，说：“如今想要废掉昏君，拥立明君，希望你不要拘泥于小节，以免自招祸患。”樊子盖刚从外藩调入京城担任官职，东都的旧官员大多轻视他，至于军事部署，也不太听从他的指挥。裴弘策与樊子盖同级，之前出兵讨伐盗贼失利，樊子盖再次命令他出战，裴弘策不肯前往，樊子盖下令将他拉出斩首示众。国子祭酒河东人杨汪，稍有不恭敬，樊子盖也将要把他斩首；杨汪跪地磕头流血，才得以幸免。于是将领官吏都震惊恐惧，不敢仰视樊子盖，政令得以严格执行。杨玄感出动全部精锐攻城，樊子盖随机应变顽强防守，杨玄感无法攻克。然而达官贵族的子弟应募从军的，听说裴弘策被杀，都不敢入城。韩擒虎的儿子韩世咢、观王杨雄的儿子杨恭道、虞世基的儿子虞柔、来护儿的儿子来渊、裴蕴的儿子裴爽、大理卿郑善果的儿子郑俨、周罗睺的儿子周仲等四十余人都投降了杨玄感，杨玄感将亲信重要的职位都托付给他们。郑善果是郑译的侄子。
杨玄感收编军队达五万余人，派遣五千人驻守慈磵道，五千人驻守伊阙道，派遣韩世咢率领三千人包围荥阳，顾觉率领五千人夺取虎牢关。虎牢关守军投降，杨玄感任命顾觉为郑州刺史，镇守虎牢关。
代王杨侑派遣刑部尚书卫文升率领四万军队救援东都，卫文升抵达华阴，挖掘杨素的坟墓，焚烧他的骸骨，以此向士兵表示必死的决心，于是率领军队大张旗鼓地从崤山、渑池出发，直趋东都城北。杨玄感率军迎击；卫文升边战边进，驻扎在金谷。
辽东城久攻不下，炀帝派遣人制造一百多万个布囊，装满泥土，想要堆积成一条鱼梁大道，宽三十步，高与城墙平齐，让士兵登上大道攻城。又制造八轮楼车，高度超过城墙，排列在鱼梁大道两侧，想要俯视城内射箭，约定日期将要攻城，城内高丽军处境危急。恰逢杨玄感谋反的文书传到，炀帝大为恐惧，召纳言苏威进入帐篷，说：“这个小子聪明，会不会成为祸患？”苏威说：“能分辨是非、审察成败，才能称之为聪明，杨玄感粗疏鲁莽，不必担心。但恐怕从此会逐渐酿成祸乱。”炀帝又听说达官贵族的子弟都在杨玄感那里，更加忧虑。兵部侍郎斛斯政向来与杨玄感关系友好，杨玄感谋反，斛斯政参与了谋划，杨玄纵兄弟逃回，是斛斯政暗中送走的。炀帝将要彻底追查杨玄纵等人的党羽，斛斯政内心不安，戊辰日，逃奔高丽。庚午日，夜间二更时分，炀帝秘密召集各位将领，命令他们率军返回，军用物资、器械、攻城器具堆积如山，营垒、帐幕都保持原样，全部丢弃后离去。隋军将士人心惶惶，不再有秩序，各路军队四散分离。高丽军当时就察觉到了，但不敢出城，只是在城内击鼓呐喊。到第二天午时，才逐渐出城，向四方侦察，仍然怀疑隋军是诈退。过了两天，才派出数千名士兵追击，因为畏惧隋军人数众多，不敢逼近，常常相距八九十里，快要到辽水时，得知炀帝的御营已经全部渡过，才敢逼近后军。当时后军还有数万人，高丽军随后劫掠攻击，最后数千名老弱士兵被杀死掳掠。
起初，炀帝再次征伐高丽，又问太史令庾质：“这次出征怎么样？”庾质回答说：“我实在愚昧，仍然坚持之前的看法，陛下如果亲自出征，耗费的人力物力实在太多。”炀帝发怒说：“我亲自出征尚且不能攻克，只派遣别人去，怎么能成功！”等到返回后，炀帝对庾质说：“你之前不希望我出征，就是因为这个吧。杨玄感能成功吗？”庾质说：“杨玄感虽然地位显赫，但向来没有民众威望，只是趁着百姓疲惫，希望侥幸成功。如今天下统一，不容易动摇。”
炀帝派遣虎贲郎将陈棱在黎阳进攻元务本，又派遣左翊卫大将军宇文述、左候卫将军屈突通乘坐驿车发兵讨伐杨玄感。来护儿抵达东莱，听说杨玄感包围东都，召集各位将领商议回军救援。将领们都认为没有皇帝的敕令，不宜擅自回军，固执地不肯听从，来护儿厉声说：“洛阳被包围，是心腹之患；高丽违抗命令，不过是疥癣之疾。国家的事情，知道了就必须去做，擅自回军的责任在我，与你们无关，有敢阻拦的，按军法处置！”当天就回军。命令儿子来弘、来整乘坐驿车奏报炀帝。炀帝当时已经回到涿郡，已经敕令来护儿救援东都，见到来弘、来整后非常高兴，赐给来护儿的玺书中说：“你回军的时候，正是我下令让你回军的日子，君臣心意相合，远隔千里却如同符契般契合。”
此前，右武候大将军李子雄因事被削除官籍，命令他从军效力，跟随来护儿在东莱，炀帝怀疑他，下诏将李子雄锁押到行宫。李子雄杀死使者，逃奔杨玄感。卫文升率领两万步兵骑兵渡过瀍水，与杨玄感交战，杨玄感多次击败他。杨玄感每次作战，都身先士卒，所向披靡，又善于安抚士兵