李峴在隴右期間，金軍已經完全佔領了不設防和杭州和越州等地，完顏宗弼在聽到康王趙構乘船逃往海上的消息後，也蒐集了一百多艘戰船，一路追往明州。
可是茫茫大海，哪裡能尋得到趙構一行人的蹤影，宗弼在舟山羣島轉了一圈，才知道大海之遼闊，絕不似遼東與登州之間的渤海灣，這才放棄了在海島上的搜尋，悻悻返回了杭州。
金人行軍打仗，還保留着草原民族的傳統，從來都是不帶補給，以戰養戰。爲了維持後勤，金軍縱掠各地，結果遭致江南各地民衆自發的強烈抵抗，這些民軍居然比宋國的正規軍還要厲害，金軍派往各地搶劫的小股金軍經常是會被全軍消滅。這些損失看起來不起眼，但若是累積起來就足以令宗弼膽戰心驚了。
宗弼所帶的兵馬本就只有三萬來人，而拔離速方面也只有一萬餘兵馬，這四萬多人，散佈在江南各地，無異於陷入到了大海之中，根本控制不住局面。宗弼知道這江南不能久留，否則早晚自己非得全軍都困死在這裡不可，於是在返回杭州的第三天，就決定撤軍北返。
現在整個江南東、西兩路已經沒了官府，沒有了那些膽小怕死的文官在胡亂指揮和掣肘，江南各地的軍隊自發起組織起來，積極地襲擾金軍，反而是越戰越勇。大家在與金軍的交戰過程中發現，原來金人也不如傳說中的那般神勇，大家都長着一顆腦袋和兩隻胳膊，被刀子砍中後也會死。隨着各地軍民信心的恢復，有越來越多的小股劫掠的金軍被自發抵抗的抗金軍民所消滅。比如韓世忠與張俊在秀州、岳飛在金壇和宜興都有殲來金軍的戰績。
宗弼在率主力從杭州撤軍的過程中，韓世忠率所部八千餘衆利用金國騎軍不習慣江南水網地帶地形作戰的弱點，在蘇州以北主動向金軍的主力發起了襲擊。雙方經過半天激戰，宗弼擊敗韓世忠所部。韓世忠率部躲進了常熟以南陽城湖裡的黃天蕩，宗弼率部搜索了四天，最終是一無所獲，只得繼續退往建康。
（注：黃天蕩一戰，《宋史》吹的實在是太厲害了，韓世忠以八千人圍困金軍十萬，怎麼看都會給人一種玄幻的感覺。這裡作者採信的是《金史》裡的說法，各位不喜勿怪）
黃天蕩一戰，韓世忠雖敗猶榮，這標誌着南宋的官軍在見到金軍主力時，不再是抱頭鼠竄，而且還開始了主動進攻。這是一個明顯的戰略轉折，韓世忠在這一戰的最大功績就是激起南宋軍民的抵抗決心和信心，雖敗猶榮。
金軍開始退出江南、淮西等地，甚至連京東路都不願久留，又扶持起劉豫任僞齊國皇帝，掌控黃河以南到淮河一帶的地盤，以作爲宋金之間的戰略緩衝。
沒有抓住趙構，金國上層想要一舉覆滅宋國的計劃基本破產，由於宗翰的威望也大受打擊，此時主和派的宗磐、希尹和完顏昌等逐漸佔據了上風。自阿骨達起兵以來，金軍連年征戰，軍將們的厭戰情緒也逐漸顯露了出來。在主和派的操控下，劉豫爲主的僞齊國被扶立，另外就是秦檜、曹晟等投降了金人的靖康年間被擄大臣在寫下保證書後，開始逐漸放歸回南宋，意圖影響到臨安朝廷的決策，雙方暫時達成和議。
秋風凜冽，秋雨綿綿。
大別山以南的黃州，沿着麻城以西岐亭河一側的官道上，往南逃難的流民不絕於途。
自女真南侵，朝廷不斷往江南逃跑以來，中原的百姓就沒有過上一天安生的日子。特別是自杜充在衛州掘開了黃河大堤，黃河水奪淮入海以後，這汴京周邊，就沒了過去的氣運，河水連年氾濫，到了夏天卻又是天下大旱，蝗災遍地。沒了活路的百姓，都變成了飢餓的流民，爲了活命，一路往南逃難而來。
一向繁華的中原之地，如今是赤地千里，餓脬盈野。
大別山以南，還沒受到金軍的肆虐，於是淮南西路的難民，成羣結隊地涌了過來，前往荊湖路一帶。一場浩大的遷徙，從春天就已經開始了，到了秋天，仍然沒有任何停止的跡象。世道艱難，淮南路已經成了一片混亂的戰場，盜匪橫行，讓百姓們不得不背井離鄉，往南方尋找一個能夠安定的地方。
這淮南西路現在是劉家兄弟的地盤，金軍大舉渡江，劉光國、劉光世兩兄弟一個躲在信陽軍。一個躲在江州（九江），各自手裡擁兵數萬，兄弟倆聯手自保，只當是看不見金人在任意縱掠江南。
此時的大別山一線，快要成了與金人作戰的第一線，劉家兄弟也有些惶恐。在撻懶所部從池州渡江時，在江州駐軍的劉光世也是整天擔驚受怕，不住向自己的長兄和正在蔡州汝陽監督築城的西軍老將王稟求援。等到宗弼搜山檢海，也沒有抓住官家，開始從鎮江一帶北撤的消息傳來，他這纔算是終於鬆了一口氣出來。
這金軍一退，劉光世就隨之率領大軍東進，接連收復鄱陽湖周邊地區，不過在收復池州和歙州後，他再也不肯東進。現在的功勞也夠了，再往前就有些過貪，做什麼事都應當適可而止。在這一點上，他是深得去年纔去逝的老父劉延慶的真傳。
此時的劉光世，正全身金盔銀甲，全副武裝，威風凜凜地親自帶着一千精銳親軍，保護着一支旗幟招展車馬隊伍，行走在這黃州的官道上。而劉光世的臉上，也早就沒有了往日在軍中的驕橫，換上了一副謙和的模樣。
在汪伯彥、黃潛善被貶後，驟然得到提拔，成爲杭州小朝廷三宰之一的知樞密院事張浚，在官家從海路逃跑前，得到官家的一份密令，命他爲陝西、川峽及京西路招撫制置使，統帥督促京西。陝西各軍主動出擊，以解南宋小朝廷勢若累卵的危急局面。
張浚一行人從杭州出發，也不敢直接北上，而是往西南走衢州、信州，小心翼翼，走了一個多月，這才從鄱陽湖南面繞道洪州，到達了劉光世駐防的江州。現在張浚是樞相，正好主管軍事，雖然手裡沒兵，但劉光世卻不得不聽其指揮，親自帶着人護送其北上。
至少在表面上，劉光世表現得很恭敬服從。