唐軍的一次勝機被斷送後，雙方又在城牆內外相持爭奪。日子一天天地過去，轉眼已到九月。遼東之地向來比內地早寒，數場北風颳過，滿目皆是黃色的枯草，氣溫驟降，唐軍兵士身著單衣，站在野外冷得渾身發抖。
李世民此時已沒有了入遼東時的豪情萬丈。他知道，此次征伐之事只好半途而廢，再想揮師東進取平壤，眼見是不可能之事。他召來眾將，說道：“遼東早寒，馬上就要草枯水凍，兵馬難以久留，且糧食將盡，我們必須立刻班師。”
眾將默察眼前之狀，早已明白班師之事已成定局。然出征高麗是皇帝欽定，李世民不說班師，他們皆不敢先出聲。現在李世民終於提出要班師回家，懸在眾人心中的一塊石頭方才落到地上。
李世民接著道：“我們要從容班師，不給高麗人留下機會。二位高卿，你們可以先行，將遼州、蓋州、巖州人口盡數遷往內地。”唐軍攻下遼東城、蓋牟城和白巖城，李世民下詔將此三城改為遼州、蓋州、巖州。
高惠真、高延壽躬身接旨。
李世民又轉對李世、李道宗道：“這名安市城主委實不錯，朕要與他對話一番。道宗，你將朕的意思寫成一書，然後射入城內。明日辰時三刻，朕到城下與其對話。”
李道宗憂心道：“我們既然要班師，不可打草驚蛇。萬一他們尾隨追擊，對我軍從容歸去實在不利。”
李世民慨然道：“朕明日明明白白告訴安市城主，我們即日就要班師，他若有膽，儘可來追。對了，我們班師之際，所有將士須繞城一週，然後大大方方離去。”
李道宗領命前去佈置。
第二日一早，朝陽驅散了晨霧，高大的城牆在陽光下巍然聳立，護城河面淡淡地泛著一些水汽。李道宗射入城內的書中，申明唐軍今日後撤半里，請安市城主到護城河橋側與李世民相見。
李世民乘坐輅車來到橋邊，身邊僅有李世、李道宗、阿史那社爾、執失思力、薛仁貴等人護衛。只見那名安市城主也在數人護衛下等在對面，李世民緩步下車，可以看見這名安市城主個子不高，然鬚髮甚濃，有些英武之氣。
李道宗大喝道：“安市城主，皇帝陛下駕臨，趕快拜見。”
安市城主聞聲躬身一揖，朗聲說道：“高麗草民拜見大唐皇帝，迎接來遲，望乞恕罪。”
李世民也朗聲說道：“安市城主，你很好嘛。朕征戰一生，攻城無數，獨你安市城巋然不動。我們雖為敵手，然朕服你之能，高麗有人如此，實在幸甚。”
安市城主躬身說道：“草民所以如此，只因忠誠於君。由此使大唐之兵在此困頓許久，我深感不安。唯盼皇帝陛下與高麗重修舊好，從此不動干戈。”
李世民厲聲道：“蓋蘇文弒主悖逆，又侵凌他國，朕不可坐視不管。朕明日就要班師，你可轉告蓋蘇文，終朕一生，定然還要前來興兵問罪。”
安市城主為一睿智之人，明白高麗非中國敵手，若中國全力來攻，高麗實屬危矣。他無法回答，只好默然不應。
李世民又說道：“朕念你守城有功，忠於汝國，特賜縑一百匹以示獎賞。”
長孫無忌將手一揮，後面的抬縑之人快步過來，將一百匹縑放在護城河側。
安市城主覺得李世民果非凡人，自己固守城池與其相抗，按說他應該滿腔怒火，不料今日得其一番誇讚不說，還得到百匹縑的獎勵。他想到這裡，衷心說道：“鄙人累皇帝陛下親征勞頓，不敢奢望陛下賞賜。陛下能知鄙人忠心事主，則我心足矣。”說完，他躬身相謝。
李世民伸手搖了一搖，說道：“人能盡忠義之心，朕不分敵我，一樣敬重。安市城主，明日為九月十八日，我軍盡數西歸，你為盡本分，儘可放兵來追。”
安市城主熟知這裡的氣候，他算著唐軍的糧食也耗得差不多了，知道唐軍班師也就在這幾日。令他想不到的是，李世民竟然能明言自己的歸期，可見他不懼本國兵來追。安市城主知道，安市所以被唐軍久攻不下，無非佔了安市城倚山而建的便宜，若高麗兵與唐兵一對一在野外對攻，高麗兵斷然不是對手。想到這裡，安市城主顯得更加謙恭有禮，躬身說道：“鄙人不敢。明日陛下西歸時，鄙人定會立在城牆上以目恭送，並戒約手下不得出城一步。”
李世民不再說話，轉身登上輅車，緩緩迴歸中軍帳。
第二日，依舊是一個晴天。李世民令李世、李道宗帶領步騎四萬殿後，他們二人此時各帶領二萬人的方陣排列於安市西門之前。其餘唐兵依令繞城一週後，開始列隊向西進發。安市城主不違諾言，其帶領屬下立於城牆之上，任唐兵耀威而去，並將城門緊閉，不放一兵一卒出城。
李世民此次出征高麗，共攻破玄菟、橫山、蓋牟、磨米、遼東、白巖、卑沙、麥谷、銀山、後黃十城，其間斬首高麗兵四萬餘級。高延壽、高惠真此去遷徙遼、蓋、巖三州人口，使中國又增加七萬餘戶口。總觀此戰，起初還算順利，只是後來與安市城相持日子太長，以致延誤日期入了冬季，使此戰功敗垂成。
大隊人馬入了遼州，休息一日後，就起身開赴遼水。此時，朔風日勁，有時吹得人馬東倒西歪，兵士們畢竟衣衫單薄，滿眼所及，皆是嘴脣烏青之人。長孫無忌為前鋒，觀見此狀，號令全軍加快行軍速度。
大軍渡過遼水之後，又遇到那片方圓數百里的泥淖。若讓閻立德依舊法兒布土成橋，眼瞅著寒氣一日冷於一日，衣衫單薄的將士難以撐持下去。長孫無忌此時急中生智，號令數萬人同時打草，然後填草成道，遇到水深處將車輛等輜重填入水中。李世民此時也舍車騎馬，並且親自驅馬負草以填路。眾人看到皇帝如此，頓時幹勁倍增，渾忘了自己身處寒天之中，周身似乎感覺不到寒冷。他們如此上下同心，終於在泥淖上鋪出一條草路來，使大軍得以透過。只是大軍的一應輜重，從此損失殆盡。
唐軍自九月十八日離開安市，其間停駐遼州，又渡遼水，再過泥淖，待行到一個名為蒲溝的地方，時間已進入十月。此時，寒風如刀，吹得唐兵瑟瑟發抖。李世民此時號令全軍，加快行軍速度，早日趕赴營州，並說道：“朕已在營州為大家備好十萬餘套棉衣。”
疲憊不堪的唐兵聞聽有棉衣可穿，無不抖擻精神，加力前奔。然天不遂人願。這日寒冽的冬風襲來，一直颳了兩個時辰，到了晚間，暴風裹挾大雪而至，將行走的唐兵遮得如同雪人。一路上，一些兵士渡遼水、過泥淖時，征衣盡溼此時未乾，他們遭遇暴風雪，竟至凍斃。
李世民聞知此情，即令長孫無忌派人集來柴薪，然後燃火於道，讓衣溼之人向火取暖，將衣烤乾。大軍如此艱難前行，終於到達營州。李世民看到將士們換上棉衣，心中的石頭方才落了地。
安市城主看到唐軍離去，一面讓人整修城池，一面撫卹傷亡之兵士。二日後，他也打點行裝，前往平壤面見蓋蘇文。
此時，安市城主的大名哄傳國內，被視為高麗英雄。蓋蘇文聽說他要入都城，即備下隆重的歡迎之禮，並親自出城迎接。蓋蘇文當初謀逆之時，獨安市城主不聽號令，惹得蓋蘇文親自帶兵去討，然攻城多日不能拿下。蓋蘇文無奈之間，只好修書入城，承諾只要安市城主願意歸附，可以保其位，並讓他永鎮安市。安市城主見大勢難擋，只好答應。蓋蘇文從此對安市城主另眼相待，既敬其耿直，又厭其不聽招呼，心中無可奈何。他此次出城迎接倒是一片真心，畢竟，因安市固守之功，免了平壤血光之災。
蓋蘇文設盛宴招待安市城主，席間，蓋蘇文意氣風發，對席上人說：“哼，唐朝皇帝不知好歹，想那隋朝皇帝數次來攻，皆鬧個鎩羽而歸，他認為自己比隋朝皇帝更強硬嗎？我這裡的一個安市都攻不下，何談其他呢？”
座中之人紛紛附和，恭頌蓋蘇文不已，說的話竟至肉麻。
安市城主不以為然，他待眾人語歇，方才說道：“莫離支不可小覷大唐皇帝，其此次失誤在於被安市絆住手腳。我聽說其間有人向其獻計，讓其圍困安市，再發奇兵與其舟師相會，大舉進攻平壤，惜其不聽，使我國免了此厄。”李世民班師之際，也下令舟師班師，李大亮和程名振率領手下登船返回萊州。
蓋蘇文仍不以為然：“哼，他來攻平壤，平壤是好攻的嗎？”
安市城主搖搖頭，說道：“大唐國力舉世難匹，我們這一次僥倖不敗，無非是佔了城池堅固和氣候的便宜。莫離支，我以為我國今後要與大唐修好，不可僵持下去。我聽說，唐朝皇帝不以武力侵逼四周，唯以德化感之，可見其出征我國非其初衷。希望莫離支不要再侵新羅，那唐朝皇帝沒有口實，我國即可免了刀兵之厄。”
蓋蘇文見安市城主替唐朝說話，心裡有氣，然礙於安市城主的面子，不敢造次。他默然半天，僅僅說出三個字來回應安市城主：“知道了。”
唐軍到了營州，立即更換棉衣，軍中醫生忙碌地為凍傷之人治傷。大軍自四月入高麗境，一直忙於作戰，李世民下令，讓全體兵士在此休整五日，然後返回各自駐地。
長孫無忌派人檢點回國人數，發現此戰共戰死和凍死兵士三千餘人，所攜馬匹損失八成，一應輜重丟失殆盡。李世民聞訊，默然半天，然後下手詔道：“遼東道戰亡人骸骨，並集柳城東南，有司設太牢以祭之。”
到了致祭之日，李世民帶領眾將穿素衣白袍，親往致祭。他念罷祭文“嗚呼哀哉”一句，已是淚流滿面，泣不成聲。看得出來，他對此次徵遼之役非常不滿意，心中感到非常窩火，又感到有些窩囊。此情此景，與其出征時的豪言壯語相比，不啻有天淵之別。
薛仁貴此時被恩准隨侍在李世民身側，看到李世民如此傷心，他急忙走過去攙扶李世民。此時祭奠已罷，李世民隨薛仁貴一起走向輅車，他邊走邊說道：“仁貴，朝中諸將皆老，朕一直想尋覓年輕驍勇者為將以代之。此戰你脫穎而出，朕心甚慰。”
“臣以士卒之身，得陛下重用如此，臣唯感激萬分。”薛仁貴衷心說道。
李世民仰頭說道：“仁貴，朕不喜得遼東，僅喜得驍將。大唐疆域甚廣，若無人護持，別說再拓疆土，連已有的土地也會失去，你明白這個道理嗎？”
薛仁貴連連點頭。
李世民又柔聲道：“仁貴，朕此次回京，欲取道幷州。你經過龍門時，可將你那在寒窯苦候的賢妻接到京中。還有，你也把改葬父母的事一同辦了。”
薛仁貴見皇上關心自己如斯，禁不住熱淚盈眶。這薛仁貴後來一直在玄武門守衛，及李治即位，其領兵破高麗、攻鐵勒、擋吐蕃，成為一代名將。
那日李世民向薛仁貴表白“朕不喜得遼東，僅喜得驍將”，其實為無奈之言。數千名唐兵戰死在遼東戰場上，一應馬匹、輜重損失殆盡，在李世民的征戰生涯中，這樣的結果實在不多，何況是他御駕親征？他此時的心情，有未能取得完勝的失落，有對蓋蘇文的憤怒，更有必須拿下高麗的決心。諸般心情縱橫交織，在其心中翻騰不已。數日後，李世民車駕離開營州，開始向定州進發。想是因為天氣寒冷，李世民不慎受寒，竟然積下一病。此病與其鬱悶心情交織在一起，致使病情越來越重。一開始，他還能騎馬而行，後來只好乘步輿緩緩行走。
李世民一向身體健壯，即使身體偶有不適，也能很快痊癒。如今此病來勢洶洶，是多年沒有的事。群臣得知皇上得病，紛紛前來探視，看到皇上那有氣無力的樣子和蠟黃的臉兒，許多人流下了眼淚。長孫無忌勸李世民，不如暫緩行走，就近尋一州府好好將息。李世民搖頭不許，說道：“還是慢慢走吧。我的病，我心裡最有底，要不了命。我們這樣緩緩行走，可能行到中途，病也許就會好了。”
長孫無忌看到李世民依舊穿著那身破爛的褐衣，遂取來一襲新袍，勸李世民更換。李世民搖頭不許，說道：“我未見治兒之面，此衣堅決不換。”
長孫無忌明白李世民的心情，遂不再硬勸，轉而囑人好好看顧李世民。大隊這日行到易州地面，易州司馬陳元壽進獻碧綠的蔬菜供皇上享用。北方入冬之後，蔬菜難活，李世民已多日未食新鮮的蔬菜，他食罷覺得滋味甚美，因問此菜來歷。長孫無忌派人將陳元壽叫來詢問，陳元壽跪在李世民所乘的步輿前，奏道：“眼下天氣寒冷，地面上萬物難活。臣派人挖掘地室，然後在地室內籠上小火，使室內溫暖如春，此時再將菜籽種上，月半乃成。”
李世民聞聽種此菜如此費工夫，因問道：“北方之地，冬日裡百姓皆是如此種植嗎？”
陳元壽老老實實答道：“百姓冬日裡食菜，皆是秋末時將菜醃入缸內，然後逐日取食。似這樣在地室裡種菜，畢竟費時費物，他們都不肯如此種植。”
李世民心中又升起怒火，問道：“如此說，你家在冬日裡可以一直食用如此新鮮蔬菜嗎？”
“臣不敢。臣聽說陛下從高麗班師，算著時間，陛下定近日經過易州地面。陛下今年在前線征戰，入冬後肯定難食活蔬，臣因此令人在地室內蓄火種植，以待陛下來此食用，也算盡了易州臣民的一點心意。”
李世民聽罷心中更怒，轉對長孫無忌說：“無忌，你看看，這就是我朝的好官！這番心計，你能想得出來嗎？”
長孫無忌明白李世民的心意，就對陳元壽喝道：“還不快滾！等著皇上治你的罪嗎？”
陳元壽頓時嚇得面無人色。
李世民在步輿上撐起身來，手指陳元壽道：“你這狗官，不思勤政愛民，專思獻媚取寵。你取得司馬之位，大約也是鑽營所獲。你回去吧。從今日開始，這官兒就不用做了。”
陳元壽苦心侍候李世民，不料弄巧成拙，反丟了現有的官職。他聞言如五雷轟頂，連滾帶爬倉皇而去。
李世民餘怒未息，召來許敬宗道：“你速速擬旨一道發往京城，好好問問房玄齡：朕徵遼東不過一年，這國內的吏治竟然敗壞如斯？他們在京城都做了些什麼？可讓大理卿孫伏伽帶人巡查四方，重點查處刺史、縣令以下官員之劣行，要從重從嚴予以處理，絕不姑息。”
按照慣例，各級官員由吏部負責其年度考績。現在李世民雷霆一怒，已經忘了這些規制，轉而急令大理寺立刻查處。李世民此旨被驛傳至京城，房玄齡等人不敢怠慢，急忙擬出六條規定，依此派人到各地明察暗訪，發現官員劣行立刻處理。數月之後，全國有近千名官員被貶黜。其中有許多人口稱冤枉，道路相連前往京城喊冤，由此可見孫伏伽處置之嚴，已大違貞觀年間以來的“寬法慎刑”之本意。
李世民的這些言行被群臣瞧在眼裡，心中各有想法，私下裡不免悄悄議論。李道宗問長孫無忌道：“皇兄近來怎麼了？動輒發火，實在是大違了往日沉靜的性子。”
長孫無忌嘆了一口氣道：“這還不是明眼的事嗎？他年初出京之時，豪情萬丈，視克定高麗為坦途，不料功敗垂成，他向來為高傲的性子，心內能夠平靜嗎？”
李道宗點頭道：“不錯，那名糊塗的司馬不識好歹，趕著來邀寵，不料把現有的官職也丟了。”
“此一人事小，那道旨發往京城之後，不知又有多少人撞上了刀口呢！唉，看來人之性子，其實難料啊。”
李道宗點頭稱是。
太子李治聞聽父皇班師，遂與輔臣相商，他們一起出定州向北行，以迎接李世民的車駕。李治帶人行到臨渝關，李世民的車駕恰好亦至。李治帶領輔臣跪伏道側，三呼萬歲，拜迎李世民。
李世民倚在步輿上，看到李治帶人兼程來迎自己，心中升起了一團暖意，遂喚眾人平身。李治抬頭看到李世民依舊穿著那身褐衣，衣既破舊又顯汙穢，與其憔悴的神情相映，愈顯悽敗，遂眼中流出眼淚，哽咽道：“父皇有病，兒臣未及時在身邊侍奉，兒臣心甚不安。父皇啊，天氣如此寒冷，您怎能穿著如此破舊的衣衫，讓兒臣更加心寒呀。”