可惜的是，半個時辰後，李世民非但沒有得到任何好消息，反倒是告急之信頻頻傳來。首先是西門的羅士信，他拍馬飛奔到秦王跟前，向他稟報攻城受阻的壞消息，緊接着就是南門的段志玄，最後連齊王李元吉也堅持不住，遣部將宇文寶前往東門求救。這樣一來，李世民的所有期望都統統落空，他清楚當前的形勢，除非自己能率軍攻破東門，否則就無取勝的可能。於是，他猛地一舉馬槊，準備率軍再次衝擊城門。
正在這時，秦叔寶、程知節、尉遲敬德和侯君集策馬朝李世民飛奔過來，勸阻秦王不可進兵。李世民看見秦叔寶面部受了傷，氣就不打一處來，恨不得一槊將王世充挑落馬下，剁了他的大腦袋。因此，他不顧衆將的勸諫，執意要催兵再戰。好在這時，一直呆在李世民身邊的杜如晦開口了，他直言不諱地告訴秦王再強攻下去只會遭受更爲慘重的損失，決不會取得他想要的結果，爲今之計，就是撤軍。這一席話真是振聾發聵，把一時執迷的秦王喚醒。默然片刻，他終於接受了杜如晦和秦叔寶等人的建議，決定撤兵。接着，他又令羅士信、段志玄、宇文寶傳分別前往各門傳令撤軍。
命令一下，唐軍將士便紛紛掉轉頭往五里之外的營地撤退。城上的段達、張績瞧見李世民引兵撤走，得意得仰面哈哈大笑，接着又令士卒齊聲辱罵唐軍。李世民聽了，胸中不由騰地生出股怒火，他勒住馬，舉槊指向城門，厲聲說句段達、張績你等休得張狂，到時本王一定要斬了你們的狗頭，取下東都，哼！說完，他猛力一抽坐騎，帶領部隊朝唐營奔馳而去。
這一仗可謂是李世民戎馬生涯中的一大敗筆，不僅沒有損傷敵軍的一根毫毛，反倒折了自己近萬人馬。對此，李世民十分懊惱，但沒有動搖他繼續強攻的策略。休整兩天後，他又率軍攻城。可惜的是，結果並沒有得到任何改變，如同前番一樣，自己損兵折將，洛陽城門依然緊閉，牢不可破。這使李世民感到十分憤怒，他一時間失去了理智，根本不聽杜如晦和屈突通等將佐的勸諫，繼續命令軍隊攻城。一連強攻了好幾次，也未能取得任何進展，反倒是令軍中死亡越來越嚴重，同時軍心也有所動盪。這不，士兵因久攻不下而變得垂頭喪氣，沮喪萬分，他們慢慢地生出了厭戰的情緒。更可怕的是，原劉武周部將尋相等人大多叛逃，還反戈一擊殺了百餘唐兵，使得人心惶惶，難以安寧。
李元吉因比武一事而對尉遲敬德耿耿於懷，此時他聽說尋相叛唐，眼珠子骨碌一轉，計上心頭。當下，他命手下宇文寶將尉遲敬德騙到自己帳內，然後命手持利刃的將士們將他綁了。尉遲敬德感到莫名其妙，就挺立在帳中，大聲質問齊王爲何設套擒拿自己。李元吉狡黠一笑，慢條斯理地回答尉遲敬德，說他與尋相同爲劉武周部下，且關係甚好，所以怕他也跟着尋相斬殺唐兵而叛唐。爲防範於未然，故而先下手把他抓了。
尉遲敬德聽李元吉這麼一說，即刻感覺到自己被對方狠狠地摑了記耳光，因爲他覺得這是在否定自己的忠義，是在羞辱自己的人格和尊嚴。爲此，他不由得憤怒了。他怒目圓睜，對着歪斜着身子靠在椅背上的齊王大聲表白，說自己以忠義名聞天下，怎麼會做出背叛大唐的事呢。口氣格外堅定，根本不容別人置疑。然而，李元吉壓根就不信，只冷冷地說了句，你既然可背叛劉武周降唐，爲何又不能再背叛大唐呢。你……尉遲敬德氣得兩眼冒火，一時竟說不出話。李元吉見狀，得意地哈哈一笑，指着尉遲敬德說，尉遲敬德你心裡有鬼，所以無話可說了。來人，把尉遲敬德押出去，囚禁在軍中，好生看管。尉遲敬德憋了半天，終於忿忿地說了句，在下之心日月可鑑，永世不叛大唐！說着，他就不作反抗地讓人押出了營帳。
不多時，尉遲敬德被李元吉囚禁的消息傳到了李世民的耳朵裡。他一時半會控制不住自己的情緒，當着衆人面大罵起自己的弟弟來，忿然道：
“胡鬧，簡直是胡鬧，怎麼可以隨隨便便把右一府統軍抓去囚禁！哼，這李元吉膽子也夠大的，竟然敢不稟報本王，就抓走我身邊的人！”
“是呀，秦王，這齊王的確是有些目中無人了！”杜如晦若有所思地說，“就算尉遲敬德有什麼不是的地方，他也先得稟告秦王纔對呀！”
“在這事上，齊王是有些欠妥。”屈突通思忖着說，“然齊王這樣做，也是爲大唐好呀！今尋相等人叛逃，秦王大怒，難免會引起尉遲將軍的猜忌與擔憂。尉遲將軍可能怕殃及自身而與秦王不辭而別，齊王爲防範於未然，故而急着把他囚禁軍中。在下以爲齊王當無傲慢之意，請秦王息怒！”
“尉遲將軍原爲定楊大將，且對劉武周十分忠心，向日歸附秦王，只是迫於形勢罷了。”殷開山附和道，“今見我軍困於洛陽城下，又得知舊部尋相等人已叛逃他處，尉遲將軍也難免不生異心哪！秦王，在下以爲齊王此時把尉遲將軍囚禁于軍，也沒什麼大錯。”
“敬德乃天下忠義之士，誠心歸順我大唐，又怎會做出背叛之事？”李世民堅信不疑地說道，“再說，敬德若真懷有反逆之心，又豈會在尋相之後，他當在劉武周入突厥之時就逃走了。由此可見，敬德是真心歸附我大唐，你等勿須多疑！”
“秦王說的對！”杜如晦肯定地說，“尉遲將軍自歸我大唐以來，緊隨秦王前後，每遇戰事都挺身而出，捨命廝殺。如此忠勇之人，豈會有異心！”
“也許秦王和杜大人沒有看錯尉遲將軍，可軍中諸將都懷疑尉遲將軍會叛離，故而心中甚是不安哪！”默然稍許，屈突通對李世民說了句。
“是呀，秦王，尋相叛逃之事已令將士有杯弓蛇影之心哪！”殷開山面色凝重地說，“且今正處攻城艱難之際，若軍心生變，那該如何是好呀！”
“二位將軍，本王也知道你們這麼說是爲了團結一致共破東都。”李世民想了想，語氣堅定地答道，“然本王可以向你們保證，向全體將士保證，尉遲將軍一定不會背叛我李世民，不會背叛我大唐。因此，本王請各位萬勿猜疑，儘管放心便是！”
說時，李世民目光威嚴地掃視了圈在座衆將。
衆將聽李世民這麼一說，心中的疑慮也消除了不少，也就不再交頭接耳地議論此事。屈突通動了動嘴脣，卻忍着沒說，只把眼睛轉向一旁的殷開山。此時，殷開山心裡頭還是有些兒不踏實，他低頭考慮了好半天，然後擡眼直視着李世民進言道：
“秦王，常言道知人知面不知心，還是提防點好。再說，今尉遲將軍已被齊王囚于軍中，他必會因此事而心生怨恨，留着恐怕也是禍患，不如索性把他按圖謀叛亂之罪斬了吧！這樣，既可永絕後患，又能穩定軍心。請秦王三思！”
“敬德無罪，豈可肆意枉殺！”李世民臉色一沉，怒道，“今齊王無故囚禁敬德已是大錯，本王豈能以莫須有的罪名枉殺忠臣良將，哼！”
“秦王英明！”杜如晦連忙說道，“在下請秦王下令，立即放掉尉遲將軍，並多加撫慰。如此，方可不負尉遲將軍的一片忠心！”
“克明言之有理！”李世民點頭贊同道，“有如此之事，此乃本王治軍不嚴。本王當親自前往齊王處爲敬德解縛，聊表歉意！”
說完，李世民就不顧殷開山、屈突通等將佐的勸阻，獨身轉身走出營帳。接着，他從隨從手中牽過自己心愛的戰馬什伐赤，一腳踩着馬蹬，翻身上馬。
不一會兒，李世民帶着秦叔寶來到了齊王營帳中。這會兒，李元吉正在跟宇文寶等部將戲耍取樂。李世民見了，忍不住氣地喝斥李元吉：
“元吉，你身爲齊王，怎麼還像小孩一樣玩這種可笑的遊戲，難道你還沒長大嗎？這……這簡直是胡鬧！”
“二哥，今日無戰事，我特意招來宇文寶他們陪我玩玩，以緩解一下緊張的情緒，這又有什麼錯嗎？”李元吉立在帳中，一臉不高興地反問句。
“怎麼沒錯，你的錯的大着哪！”李世民板着臉高聲說，“本王問你，你爲何要把尉遲將軍抓起來關了？”
“尉遲敬德欲隨同尋相等人圖謀不軌，所以我才把抓起來關了。”李元吉被二哥這麼一問，先是一怔，緊接着又理直氣壯地回答道。
“胡說八道！”李世民生氣地責問句，“誰說尉遲將軍要反叛朝廷？齊王，你說尉遲敬德欲圖謀不軌，那證據呢，證據在哪裡？你快給我拿出來！”