由於建州的“範汝兵變”，作爲都統治的辛企宗彈壓不力，因而被解除職務。駐紮在洪州、撫州一帶隸屬於張俊神武右軍的岳飛所部神武右副軍因爲“保境有功”，被朝廷改編爲“神武副軍”，脫離了張俊的統轄，終於是獨立成軍，名列神武五軍之一。岳飛也被擢升爲都統治，取代了辛企宗的位置，成爲了與韓世忠、張俊並列的新編禁軍五位統帥之一。
官家趙構特意提拔岳飛，這也是爲了刻意提拔新的將領，打破原來西軍出身的將領劉氏兄弟、韓世忠、張俊等人一統南宋軍隊的局面，給這些日益驕縱的將領們施加壓力。
此時，在建炎三年末隨着金軍渡江南侵而從淮南路各地逃到江南的各路“義軍”並不服從朝廷的命令，自立爲王，盤踞於江南西路和荊湖南路一帶。在朝廷返回越州稍加安定後，這些不原投降金國，但也不願臣服朝廷的“義軍”就又成了“盜匪”，南宋朝廷爲了穩定局面，開始加大了圍剿的力度。
由於駐紮潭州的劉文彥所部隔着沅水與西北軍對峙，無力平定地方上的“巨寇”。紹興二年初，朝廷重新啓用李綱爲荊湖南路、廣南西路宣撫使，統一協調“剿匪”事宜。神武逼國在獨立成軍後，朝廷任命岳飛爲荊湖東路安撫使兼知河潭州，率神武副軍移駐潭州，由李綱統一指揮，以平定“匪患”，安定地方。
盤踞於湖東路的盜匪最大有四支，其首領爲曹成、馬友、李宏和劉忠等人，這裡面除劉忠外，曹成等三人都是原來宗澤任東京留守時所招納的“義軍”，與岳飛原本都在宗澤賬下聽令，算是同僚。他們接受宋朝的官封，但又處於時叛時離的狀態。劉忠則是原來王彥的八字軍部下，他與其部伍都在額上刺花，故有“花面獸”綽號。
當初在東京時，曹成、馬友、李宏等三人與張用是結拜的“義兄弟”，自從杜充任東京留守後，意圖以岳飛、馬皋等部吞併張用所部，雙方在東京城外發生激戰。這些人在戰敗後流竄到淮南，其後又跑到了荊湖一帶，各自成軍，割據地方擁兵自重，並不服從朝廷的調遣。這三人在地方上稱王稱霸，彼此之間因爲利益之爭嫌隙愈深，互相攻伐，搞得荊湖一帶民不聊生，苦不堪言。
在這四大“巨寇”中，曹成的軍力最強。
曹成是大名府內黃縣人，有膂力，擅長射箭，和岳飛一樣，都是鄉軍“弓箭手”出身。他在靖康年間組織“義軍”抗金，後被東京留守宗澤招至麾下，成爲當初東京留守府的主要將領之一。
在杜充接任東京留守後，由於受到排擠，故而與馬友、李宏等率部脫離了杜充的指揮，流竄到淮南路一帶，復爲“盜匪”。
隨着金軍南下，曹成等人倒沒有象李植一般接受金國的“招安”，成爲賣國賊，而是繼續向江南逃竄。其後由江南西路漸漸竄至荊湖一帶，割據自立。曹成手下兵馬衆多，總共有七萬多人，其中精銳大約有三萬人。由於受杜充並軍事件的影響，在與馬皋、岳飛等在開封城外發生火併之後，曹成就一直對朝廷心存戒心，遊離於宋朝體制之外，處於聽封不聽調遣的狀態。朝廷所任命的荊湖東路安撫使向子湮，因爲輕舉妄動，企圖奪取曹成的兵權，卻被曹成識破，反而成了曹成的俘虜。
在收復淮南路之後，南宋朝廷決定首先解決危害最大的“曹成匪患”，意圖以“盜”制“盜”，命令駐紮潭州的馬友，盤踞嶽州的李宏，再加上韓京和吳錫兩支部隊，都歸都統制岳飛節制，全力剿滅曹成這支“盜匪”。
此時岳飛的神武副軍駐紮在吉州。在得到命令後，岳飛留下三千人駐守吉州，保護自家部隊的眷屬，自己則親率一萬餘兵馬，進駐到江南西路的袁州。此時，馬友的部隊已經盤踞在潭州一年多的時間，見到神武副軍的到來，不想着怎麼配合一起進攻曹成，反而把部隊佈置到與江南西路交界的地帶，似乎是準備防守朝廷的大軍，搞得潭州一陣雞飛狗跳，許多人擔心戰事又起。岳飛就是在這樣一個動盪的時期來到了袁州，此時已經是三月，他在路上整整損耗了一個多月的時間。其後整個大軍就駐紮在了袁州，就沒了任何動靜。
眼看着大軍遲遲不動，作爲後軍統制的王貴坐不住了，就拉着張憲一起找到了岳飛的臨時中軍節堂裡。
“元帥，我們即已奉令，何不急入潭州，這樣反而讓敵人有了準備？！”王貴在見到岳飛的面後就問道。他和岳飛是同鄉，自家鄉起就跟着岳飛一起東奔西走，兩人之間的關係密切，所以說話也就比較隨便。
“李相公並不相信咱們能夠平定曹成，力主調韓世忠過來征討他們，我們何必也與他們爭功。”岳飛說道。李綱現在還在福州，並沒到來到荊湖路赴任，實際上岳飛所部仍然歸江南西路安撫使李回節制。李回知道岳飛出兵會引起李宏和馬友的猜疑，而且馬友佔據潭州已有一年，他決不會允許岳飛進入自己的地盤，就任新命。
所以李回也怕生出什麼變亂，也不同意岳飛立刻進軍潭州。
現在的岳飛剛剛獨立成軍，實力還很弱小，所以他打算做一次標準的大宋官吏，什麼都聽上面的安排，自己沒有任何想法。官家趙構雖然有意加強神武副軍的實力，在他出徵前就下了一個便宜行事的旨意，但是他還是決定遵守李回的命令，並不急於與韓世忠爭搶功勞。
說實在的，岳飛在開封時就與馬友、李宏他們進行過火併交戰，並不怎麼懼怕對手的實力。張用是與曹成齊名的首領人物，一樣被他勸降後成了他的部下，他實際上很希望能夠再招降這些原來的同僚，以增強自己的實力。
不過權衡再三，他還是決定服從上司的命令。
他是相州人，在那些出身西軍的將領們眼裡就是個異類，與南宋的軍隊有些格格不入，一直在受到排擠，如果再失去這些文官們的信任和支持，他根本就沒有立足之地。