杨广随即宣布，民部尚书樊子盖等一批文武官员，辅佐越王杨侗留守洛阳，其余官员随驾东征高丽。
四月，杨广离开洛阳，乘船沿运河北上涿郡。五月，皇上的车驾又一次渡过了辽河。这一次，杨广派宇文述与上大将军杨义臣率军直取平壤，又派左光禄大夫王仁恭出扶余道，进军新城。他对王仁恭说：“去年征讨，诸军多有不利。古人说，败军之将不可以言勇，所以诸将不能再担重任。今日朕委你统领前军，你不要辜负期望。”随后赐王仁恭十匹良马，一百两黄金。
王仁恭率军进至新城，数万高丽兵北城摆阵。王仁恭领一千精锐骑兵直冲敌阵，高丽兵竟不能招架，退入城中拒守。王仁恭将新城四面包围。
对于进攻高丽重镇辽东城，杨广作了充分准备，也吸取了上次的教训，授予诸将随机决断的权力。在渡辽河之前，他命何稠监造了大批飞楼、云梯，渡河之后，隋军便开始对辽东昼夜猛攻，不给高丽军喘息的机会。高丽军防守得极其顽强，激战二十多天，双方伤亡惨重。
辽东城久攻不下，杨广心急如焚。常言说急中生智，他在这久攻不下当中突然悟出了一些门道。辽东城难攻，难就难在它有高大坚固的城墙作为屏障，一夫当关，万夫莫开。如能越上城头，击溃高丽军就不在话下。
杨广立即诏命辽西至涿郡一带地方，火速制作征集一百万条麻布口袋运至辽东城下，将每条口袋装满沙土，直对辽东城池垒成一条三十步宽的鱼梁大道，大道与城墙等高，士兵沿大道可以直接冲入城内。又命何稠设计制造了十辆八轮楼车，在鱼梁大道两侧安放。楼车比城墙还高，车上排列弓弩手，可以俯射城内守军，掩护士兵沿鱼梁大道攻城。
这一切竟在半月之内完成了。杨广下令全军将士休息三天，第四天清晨总攻辽东。杨广之所以留出三天的空隙，不全为了让疲惫的军队得以休息，他还期待着辽东守军的投降。照理推论，经过几十天不分昼夜的攻守拼杀，高丽军一定是元气大伤。眼下隋军垒起鱼梁大道，安好八轮楼车，光凭这阵势也看得出辽东城已岌岌可危，指日能下。高丽守军已是死路一条，何不早早投降，省得再折损一批兵将？
或许辽东城内不识时务的高丽人还没有感觉到绝命的危险，漫长的一个白天静悄悄地过去了，夜幕在大业皇帝稳操胜券的期待中渐渐降临。
下弦月升上穹顶的时候，一阵急促的马蹄声打破了夏夜的寂静。从辽西风驰而来的快马驿卒，把一份十万火急的军情奏书送进了杨广的御帐：礼部尚书杨玄感于六月三日在黎阳起兵反叛，现正引兵杀向东京洛阳！朝廷的后院起火了！
大军出征，最怕两件事：前线倒戈和后方反叛。而眼下在后方反叛的这位杨玄感是杨素的儿子，他善于骑射，粗通用兵方略。更好交友，朝中许多达官子弟都与他过从甚密。这次杨广率军亲征，钦命杨玄感坐镇黎阳，督运前线所需的粮秣辎重。他一反叛，等于扼住了前线将士的脖子。
这消息犹如晴天霹雳，打得杨广手足无措，乱了方寸。他一边派内侍传诏臣将速来御前议事，一边在帐中团团转圈，连声大骂：
“逆贼！畜牲！朕对你恩宠有加，你竟这样报答皇恩！早知今日，当初就该灭你杨素九族！”
说心里话，杨广确曾有过将杨素满门抄斩的想法，但见杨素受封楚国公后并无谋逆迹象，而且又老迈体衰，疾患日重而死，也就打消了抄灭全家的念头。现在想起来真是后悔莫及呀！
随驾东征的几位文臣武将应召赶到了皇上御帐中，他们见杨广满面怒容，气急败坏的样子，一个个束手而立，大气也不敢喘一声。
杨广见臣将到来，也停止了踱步，回御座上坐下。他环视众人，一眼看见太史令庾质，猛然想起渡过辽河在向辽东城进发的路上，庾质曾跟他说过的一句话：
“黎阳有兵气！”当时杨广听了淡淡一笑，根本没放在心上，庾质也就不再吱声。此刻，杨广想起这句话，浑身一颤，带着懊悔和叹服的口吻说：“庾卿神机妙算，黎阳果然有兵气啊！”庾质慌忙回答：“陛下，此事不幸被愚臣言中，而愚臣却未能洞察深邃，甚是惭愧不安！”
杨广摆了摆手，说：“不必自疚了。事端已发，朕想听听诸位臣将的高见，下一步该如何打算。逆贼杨玄感聪明机警，此次举兵会不会酿成祸患？”
纳言苏威上前一步说：“陛下，一个人若能明辨是非，判断成败才算得聪明。杨玄感生性粗心大意，思考疏略，有勇无谋，并非聪明之辈。对此陛下无需多虑。只是怕因此而演成天下大乱哪！”
这正是杨广担心的。眼下盗贼蜂起，尚未平息，杨玄感一闹，四方盗贼闻风而动，遥相呼应，那就不堪设想了。
庾质又说：“陛下，还得确保眼前无虞。臣听说，杨玄感的两个弟弟就在辽东军中。”
哎呀！杨广一惊，险些叫出声来。刚才只顾上火着急，怎么把这事给忘了。辽东城下的武贲郎将杨玄纵和鹰扬郎将杨万硕就是杨玄感的弟弟呀！他们都手握兵权，一旦听到消息，再来个率部起义，那可是前线倒戈和后方反叛都让朕给占全了！
杨广立即唤进两名禁军校尉，命他们各带一队人马，前去辽东城下营寨，将杨玄纵、杨万硕抓来。
半个时辰不到，两名禁军校尉回来禀奏说：“没有抓到杨玄纵、杨万硕。听营中士卒说，二位郎将早在十几天前就不见了。”
“什么？”杨广气得浑身发抖，大吼道：“不见了！军中将领擅离阵前，怎么没人向朕奏报？”
苏威禀奏：“陛下，他们二人属兵部侍郎斛斯政节度。”
杨广朝两名校尉一挥手：“去把斛斯政抓来，就在这御帐中斩首！”
两名校卫走了。却带回来更坏的消息：斛斯政听说皇上派人去抓杨玄纵和杨万硕，骑了一匹快马冲出营寨直奔辽东城，投降了高丽军，刚刚被接进城去。
杨广简直气疯了，他捶胸顿足地大喊：“传朕旨令，即刻攻城。就是拼个鱼死网破，也要把斛斯政从高丽人的窝里掏出来！”
庾质上前劝道：“陛下息怒，应冷静三思，万不可意气用事。斛斯政放走杨玄纵二人，又投降高丽，无疑是杨玄感同党。这样看来，杨玄感绝非贸然起事，而是有过周密计划的，因此就更不能掉以轻心！”
苏威也说：“太史令所言极是。况且叛贼已进兵洛阳，镇守东京的越王和樊子盖的军力是否守得住，能守多久？这些都是眼下急需细细思谋的事。若不早做决断，恐怕会贻误战机。”
听了这些话，杨广终于平静下来，他咬牙切齿地说：“斛斯政，早晚有一天，朕要万箭穿死你，千刀剐了你！”然后稳定一下气息，问：
“你们有何良策？撤兵回援？”没有人回答。好像都在思考，其实谁都明白，只有撤兵回援，才是解洛阳之危、剿灭叛贼的最好办法。“可是，这辽东城指日可下，宇文述也挺进到了鸭绿江边，难道此次讨伐高丽就这样功亏一篑了吗？”杨广不甘心地自言自语。
半途而废确是可惜，但比起叛逆后方起兵危及东京来，征服高丽蛮族已经不是当务之急了。又经过了一天的反复斟酌，杨广决定退兵。他派出信使，火速传令宇文述立即撤退，又吩咐身边攻城将领暗中做好全体班师的准备。
六月二十八日晚二更时分，皇上的御驾和几十万大军悄悄撤离辽东城下。旷野里，到处都是隋军丢弃的兵甲排杖和军需辎重，营垒帐篷都保持着原有的样子，扔在了营地上。守城的高丽军听到隋军移动，却不敢出城，只在城头上击鼓鸣锣，给自己壮胆。直到第二天中午才派小队人马出城查看，只见隋军营地人去帐空，一片狼藉，怀疑其中有诈，又缩回城内。两天之后，见隋军确实没了踪影，就发出五千军马追赶。等追到辽河东岸，杨广的车驾御营和大队人马早已渡河走远。高丽军只杀虏了千余名病弱掉队的隋军士卒，凯旋而归。移山填海都不在话下的大业皇帝，对这次亲征高丽抱定了必胜的信心，万没想到因为一个杨玄感的起兵反叛，一场苦心经营、声势浩大的征战，就这样草草收兵了。
渡过辽河，走在通往涿郡的路上，杨广感慨地对庾质说：
“庾卿，此前你曾极力劝谏朕不要亲征，是不是也想到了以防后方生变的这层因由？”
庾质不置可否，只是谦卑地笑笑。
杨广又问：“朕读奏报，说逆贼杨玄感举兵起事，竟一呼百应，几天工夫手下便聚起十万之众。庾卿，你说杨玄感难道还能成了大事吗？”
庾质回答说：“陛下，杨玄感虽说位高权重，但功德威望不可与其父杨素同日而语。杨玄感没有什么号召力量，虽然身边有几个贵胄弟子，也都是空有武力没有头脑的庸碌之辈。杨玄感只是利用百姓一时劳苦，企图侥幸而成。如今天下一统，国基稳固，并非他轻易而能动摇的。”
听了庾质一席话，杨广那焦虑不安的心，总算得到了一丝宽慰。