在金軍快速插入時,很多叛軍和盜賊也趁勢獨立,不少高級官員被盜賊殺死,浙江的形勢非常危急,最後宋廷決定在定海(今浙江鎮海)登船,避入海中。金軍進攻明州,張俊和守臣徽猷閣待制劉洪道帶兵擊敗之,但兀朮大軍隨後壓到,張俊率兵撤離。金軍佔領明州後又快速攻克杭州臨安府。兀朮由於戰功卓越,被宋人稱爲“四太子”,取代了“二太子”斡離不,成爲宋人心目中金軍的精神化身。此時兀朮已經被勝利衝昏了頭腦,竟然放棄騎兵優勢,遣部將阿里、蒲盧渾徵集海船入海追擊。金國的改革進程雖然一日千里,而且此時戰局佔優,但要和宋軍進行海戰還爲時過早。金軍艦隊在昌國(今浙江舟山)沿海遭遇風雨,一支正規海軍竟無法處理。宋樞密院提領海船張公裕趁機率宋軍大船衝擊,金軍豈能抵抗,大敗而逃,損失不計其數。兀朮本就是孤軍深入,遭此大敗後連忙宣佈“搜山檢海已畢”,開始北撤。
金軍退到鎮江口時發現韓世忠的大軍已經駐防,金軍一時進退不得,金將“鐵爪鷹”李選向韓世忠投降。韓世忠約兀朮在江上決戰,兀朮不得已答應。韓世忠只有8000兵,而兀朮有10萬大軍,但韓世忠毫無畏懼,準備和南下以來從無敗績的四太子打上一仗。建炎四年三月十五日,宋金兩軍按約出戰,雙方主將韓世忠、兀朮均親自指揮戰鬥。金軍的目標是突破宋軍封鎖,只要在北岸登陸就可以乘馬逃離,但宋軍艦隊守住北岸,豈容金軍逃脫。金軍船小,但畢竟人多,而且很靈活,士卒在船中射箭,火力異常兇猛。韓世忠的夫人梁氏親自登上樓船,擊鼓助威,宋軍士氣大振,向金軍發起一輪又一輪的猛攻,這便是野史中着名的“梁紅玉擂鼓戰金山”。在宋軍的澎湃攻勢下,金軍終不能抗,向韓世忠求和,被韓世忠嚴詞拒絕。兀朮無奈,只好率艦隊沿長江南岸向西機動,尋求突破的機會。
韓世忠則始終在北岸並行,且戰且走,最後將金軍逼入建康東北70裡處的黃天蕩,以大艦堵住出口港。撻懶派大將太一孛堇(《金史》作移剌古)率軍來援兀朮,駐在江北,被韓世忠艦隊抵住不能與兀朮軍相會,相持了48天。兀朮見友軍來援,集結兵力發起總攻,韓世忠以海艦反擊,用鉤索掀翻不少金軍船隻,又將艦隊分爲兩陣,夾擊金軍。兀朮只見本方艦船被依次掀翻,眼見就要輪到自己的旗艦,只好親自站到船頭向韓世忠求和,祈求得非常哀切。韓世忠慨然道:“還我兩宮(指徽宗、欽宗),復我疆土,則可以相全。”這顯然又超出了兀朮的職權範圍,只好再戰。過幾天兀朮實在扛不住又求和,韓世忠用箭把他射走。兀朮陷入絕境,非常哀傷地說:“南人使船欲如使馬,奈何?”在軍中廣泛徵求意見如何逃命。有一位姓王的福建人獻策,在金軍小船中載土,可以增加穩定性,又可以避火,宋軍的海船必須要有風才能動,可以等到無風時再出擊。又有人獻策可以利用黃天蕩旁淤塞的老鸛河,掘一條河道逃離。
史書上說金軍一夜之間掘出一條30裡的河道,這似乎也不太現實,可能是早就開始掘,沒被宋軍發現。長江上無風的天氣很罕見,兀朮又用方士計策開壇作法,赤壁之戰諸葛亮借東風系小說演義,金兀朮作法止風倒是史實。兀朮站在船頭,殺白馬,剜婦人心,割自己的額頭,口中唸咒,次日江風果然停止,金軍趁機衝出,用火箭射宋艦,宋軍大艦無風不能動,損失不少,終於被金軍從河道逃出。有些史料上還說兀朮登金山廟偵察時被宋軍俘獲,但均語焉不詳,應該是錯的。韓世忠在金軍氣焰正盛時,以8000兵力痛擊兀朮10萬主力大軍,極大地鼓舞了逆境中的宋朝軍民,因功拜檢校少保、武成感德軍節度使、神武左軍都統制。除兀朮倉皇北逃外,撻懶部也受到打擊,退出江淮。拔離速部孤軍深入,更遭重創,歸途中遭到伏擊,大將耶律馬五被弓箭手牛皋生擒。金軍這一次南侵很多部隊都冒進輕入,歸途遭到重創,自靖康以來的狂熱有所收斂,更認識到突入江淮與宋軍水戰是完全不現實的,雙方的戰略重心開始轉移到陝西。