張浚進入決策層後，首先提出要中興國家，關鍵在於關中陝西。陝西軍一直是宋軍精銳所在，靖康之難中陝西軍沒能派上用場，現在宋廷徹底放棄進攻西夏，與其議和，以全力對抗金軍。知樞密院事張浚出任川陝宣撫處置使，赴秦州（今甘肅天水）主持軍政。金軍左元帥府婁室部多次進攻陝西，陝西軍缺乏統一調度，遭到金、夏兩國夾擊，應付得非常艱苦。右武大夫、寧州觀察使李彥仙駐守陝州（今河南三門峽），是中原進入關中平原的要衝，也是宋朝在關東的最後一座孤城。李彥仙在此堅守三年，有力地打擊了金軍，爲張浚入主陝西留下了充裕的時間。李彥仙本名李孝忠，本是种師中部下，因上書彈劾李綱不懂軍事遭到追捕，易名李彥仙逃回陝西，被陝州守將李彌大收在帳下。建炎元年金軍進攻陝州，經制使王■不能抵抗，率部逃離，金軍佔領陝州，石壕尉李彥仙在城外三觜山聚衆抵抗。李彥仙道：“我是外地人，並不是來守衛自己的祖墳，你們如果不奮勇抵抗，金人就會把你們的屍體丟在街上！”於是民衆無不聽從號令。
金軍來攻三觜山，李彥仙佯敗誘敵，繼而伏兵大起，斬首千餘級，趁勢攻佔五十餘砦。陝州城內有很多投降的宋人，李彥仙暗中聯絡這些人，內外夾攻，收復陝州，周圍的郡縣也紛紛響應。高宗得報高興地說：“李彥仙再三奏捷，朕高興得睡不着覺。”任李彥仙爲陝州安撫使。李彥仙將家屬都遷來陝州，表示要舉家與城共存亡。時人無不感念他的忠義，很多義軍也願意接受號令。留在陝西的金將烏魯撒拔屢遭李彥仙擊敗，建炎三年年底，婁室親率大軍來攻。李彥仙在山西南部中條山設伏，大敗金軍，婁室僅以身免。但李彥仙知道婁室還將大舉來攻，請張浚立即派兵牽制。果然，婁室讓降將折可求率軍十萬來攻，分成十隊，從建炎四年元旦起，每天一隊輪流進攻，號稱一月必克。李彥仙淡定如常，在城上作樂以示閒暇。金軍使出各種招數攻城，被李彥仙一一化解，尤其是將佐宋炎異常神勇，一人便射殺千餘敵兵。張浚傳檄涇原都統曲端赴援，曲端本是陝西軍中威望最高的將領，但卻嫉妒李彥仙升官比自己快，拒不出兵，張浚自己從長安出兵卻又被金軍所阻。
陝州圍困逾年，城內糧草耗盡，李彥仙將豆子分給軍士們食用，自己只飲豆汁，經過大小二百餘戰，殺傷無數敵軍後終於不支。但婁室愛惜李彥仙的忠義才能，許以河南兵馬元帥之職招降，李彥仙斬殺來使。婁室不甘心，又派人喊話：“只要投降，不計前嫌！”李彥仙怒道：“吾寧爲宋鬼，安用汝富貴爲！”用強弩射死使者。婁室發起總攻，守城士卒已盡，金軍攻入城內。李彥仙率衆巷戰，“矢集身如蝟，左臂中刃不斷，戰愈力。”城內百姓也無不奮力抵抗，雖婦女亦登屋頂擲瓦塊擊敵。婁室還是愛惜李彥仙，懸賞生擒，結果李彥仙換了衣服逃脫出城。正當李彥仙準備離去時卻聽說金軍開始屠城，慟哭道：“金軍之所以屠城，都是因爲我堅守不下的原因，我沒有面目再活了！”於是投河而死，年僅36歲。麾下數十員將吏全部壯烈殉國，無一人降敵。李彥仙歿後贈彰武軍節度使，諡忠烈，後改忠威，立義烈廟。李彥仙在關東盡失的情況下，堅守陝州逾年，拖住了金軍西進的步伐，爲張浚重整陝西軍贏得了時間。而陝州百姓的頑強抵抗也顯示了人民的無比英勇，中原人民並非如某些人所說的像綿羊一樣任隨宰割，而正是因爲盡全力抵抗，不能作爲奴隸所以才慘遭屠戮。