看你还能让我们诵读《五教》吗！”隋文帝下诏任命杨素为行军总管，率军讨伐叛乱。
杨素将要渡江时，派遣始兴人麦铁杖背着一束稻草，在夜间浮渡过江侦察叛军情况，返回后又再次前往，被叛军抓获，叛军派遣三十名士兵看守他。麦铁杖夺取叛军的刀，乱砍看守的士兵，将他们全部杀死，割下他们的鼻子，怀揣着返回。杨素对麦铁杖的勇猛大为惊奇，上奏任命他为仪同三司。
杨素率领水军从杨子津进入长江，在京口进攻叛军首领朱莫问，将其击败。随后进军攻打晋陵叛军首领顾世兴、无锡叛军首领叶略，都将他们平定。沈玄懀战败逃走，杨素追击并将其擒获。高智慧占据浙江东岸建立营寨，绵延一百多里，战船布满江面；杨素率军进击。子总管南阳人来护儿对杨素说：“吴人剽悍勇猛，擅长水战，而且是必死之贼，难以与他们正面交锋，您应当严阵以待，不要与他们直接交战。请拨给我数千奇兵，暗中渡过长江，突袭攻破他们的营寨。让他们退无归路，进不能战，这是韩信攻破赵国的计策。”杨素采纳了他的建议。来护儿率领数百艘轻便战船径直登上江岸，突袭攻破高智慧的营寨，趁机纵火焚烧，烟焰冲天。叛军看到大火后惊恐万分，杨素趁机指挥大军奋勇进击，大败叛军，叛军溃散而逃。高智慧逃入海中，杨素率军追击到海边，召集行军记室封德彝商议军情，封德彝不慎落水，被人救起，这才幸免于难，换好衣服后拜见杨素，始终没有提及落水之事。杨素后来得知此事，就询问他原因，封德彝说：“这是私事，所以没有禀报。”杨素对他的谨慎大加赞赏。封德彝名伦，以字行世，是封隆之的孙子。汪文进任命蔡道人为司空，驻守乐安，杨素进军讨伐，将他们全部平定。
杨素派遣总管史万岁率领两千士兵，从婺州另一条路翻越山岭、渡过大海，攻破无数溪洞。前后经历七百多次战斗，转战一千多里，有一百天没有任何消息，远近之人都认为史万岁已经阵亡。史万岁将书信放在竹筒中，投入水中，打水的人得到竹筒后，将情况报告给杨素。杨素将此事上奏给隋文帝，隋文帝感叹不已，赏赐史万岁家十万钱。
杨素又在温州击败沈孝彻，从陆路向天台进军，直指临海，追捕逃散的叛军，前后经历一百多次战斗，高智慧逃走并据守闽、越地区。隋文帝因杨素长期在外辛劳，下令让他乘驿车入朝。杨素认为残余的叛军尚未消灭，担心留下后患，再次请求出征，于是乘驿车前往会稽。王国庆自认为海路艰险，不是北方人所熟悉的，因此没有设防；杨素率军从海路突然抵达，王国庆惊慌失措，放弃州城逃走。残余的叛军分散逃入海岛，或据守溪洞，杨素分派各位将领，从水陆两路追捕。杨素暗中派人劝说王国庆，让他斩杀高智慧并献上他的首级，以此赎罪；王国庆于是抓获高智慧，将其押送到泉州斩首，残余的叛军全部投降。江南地区的叛乱彻底平定。
杨素班师回朝，隋文帝派遣左领军将军独孤陀到浚仪迎接慰问；等到杨素抵达京城，前来慰问的人络绎不绝。隋文帝任命杨素的儿子杨玄奖为仪同三司，赏赐极为丰厚。
杨素用兵富有谋略，治军严整，每当将要临阵对敌时，就会寻找将士的过失并将其斩首，多的时候达一百多人，少的时候也不少于十几人，眼前血流成河，他却谈笑自若。等到与敌军对阵时，先命令一二百名士兵冲锋，能够攻破敌阵就罢了，如果不能攻破敌阵而返回，无论多少人，全部斩首；又命令二三百名士兵再次冲锋，返回后仍按同样的方法处置。将士们吓得双腿发抖，都有必死之心，因此战无不胜，被称为名将。杨素当时地位尊贵，深受宠幸，他的建议隋文帝无不采纳，跟随他出征的人，即使只有微小的功劳也会被记录在册，而其他将领即使立下大功，也大多被文官弹劾驳回，所以杨素虽然残忍，将士们也愿意跟随他。
任命并州总管晋王杨广为扬州总管，镇守江都，又任命秦王杨俊为并州总管。
番禺夷人王仲宣反叛，岭南地区的首领大多响应他，率军包围广州。韦洸中流矢阵亡，隋文帝下诏任命他的副手慕容三藏代理广州道行军事。又下诏令给事郎裴矩安抚岭南地区，裴矩抵达南康后，召集了数千士兵。王仲宣派遣部将周师举包围东衡州，裴矩与大将军鹿愿率军进击，斩杀周师举，进军到南海。
高凉冼夫人派遣她的孙子冯暄率军救援广州，冯暄与叛军将领陈佛智向来关系友好，故意逗留不进；冼夫人得知后大怒，派遣使者逮捕冯暄，将他关押在州府监狱中，另派孙子冯盎出兵讨伐陈佛智，将其斩杀。冯盎进军到南海与鹿愿会师，与慕容三藏合力进击王仲宣，王仲宣的军队溃散，广州得以保全。冼夫人亲自身披铠甲，乘坐战马，打着锦伞，率领手持弓箭的骑兵护卫，跟随裴矩安抚巡视二十多个州。苍梧首领陈坦等人都前来拜见，裴矩秉承皇帝旨意任命他们为刺史、县令，让他们返回原地统领部落，岭南地区于是平定。
裴矩返回朝廷复命，隋文帝对高颎、杨素说：“韦洸率领两万士兵却不能早日越过岭南，我常常担心他兵力不足。裴矩率领三千疲弱士兵却径直抵达南海，有这样的大臣，我还有什么可忧虑的呢！”于