由於岳飛所部到來，許中的心裡也算是一塊石頭落了地，安定了下來。於是便開始一面派人去招收逃離的官員，收攏因戰爭的禍亂而逃離家園的難民，安定地方。一面爲岳飛調集糧草，補充兵員，準備徹底剿滅曹成的匪患。
岳飛也是在從俘獲盜賊中挑選青壯，並收攏了廣南西路的逃兵後重新整飭軍紀，嚴申紀律，神武副軍在補充了部分兵員，人數達到了將近兩萬後後依然是全軍肅然，令行禁止。
曹成在靜江府桂林城下戰敗南逃，退守桂州荔浦縣東北的莫邪關。此關設在莫邪山上，山勢險峻，難攻易守。
四月十二，廣南西路經略許中帶着一衆官員入神武副軍大營犒勞三軍，飲宴過後，岳飛升帳點將，神武副軍統制張憲、徐慶、王經、王貴等將領齊聚中軍大帳。
岳飛坐在案几後面沉聲道：“俗話說打狼要打死，斬草要除根，曹成現在倚關固守，收攏殘部，我們決不能讓他有喘息過來的機會。現在，桂州的危機已經解除，神武副軍又得到了很大補充，實力更強，是到了我們三軍用命，徹底解決這支巨寇的時候了。”
帳內衆將在聽後齊聲說道：“願聽元帥調遣！”
岳飛點了點頭，接着說道：“莫邪關山高地險，但是曹成手上的兵馬並不多，他的主力還在賀州、連州一帶。只要我們奪取莫邪關，就會使曹成根本沒有時間來收攏所部，我們一路追擊，則可一戰而定廣南。”
張憲聞言上前一步大聲道：“攻取莫邪關一戰事關重大，末將願往！”
“好，我給你五千精兵，要你快速突進，連夜襲取莫邪關，殺他個措手不及！本帥則親自率領大隊人馬渡平樂水，收復昭州，以阻隔曹成與賀州方向的逃跑路線。”
張憲得到將令後，立刻動身，率領前軍五千兵馬直奔莫邪關而去。
在一場突如其來的大雨中，岳家軍在張憲的指揮下強行登城，而曹成所部因爲天氣不好，所以放鬆了警惕。等賊軍反應過來時，張憲部將郭進已經率領選鋒營攻入關廂，而張憲也已經是身先士卒，衝上了城頭。
曹成正在組織部下進行反擊，卻見張憲手執沾滿鮮血的長槍站在城頭，仰天發出一聲長嘯，宋軍已經攻佔了城頭。曹成見張憲威風凜凜，勢不可擋，頓時怯了陣勢，帶着部下就棄關而逃。
張憲留岳飛胞弟嶽翻和第五將看守關城，打掃戰場，自己則率領三千精兵繼續追殺潰逃的曹成殘部。
大雨初歇，天上依然有淅淅瀝瀝的雨絲飄落下來，空氣中充滿了水汽，呼吸一口胸肺間一片清涼。一場大勝之後，岳家軍有些忘乎所以，放鬆了警戒。留守莫邪關的第五將將主韓順夫和嶽翻爲了慶祝勝利，帶頭酣宴起來。
曹成部下悍將楊再興帶着一千多精悍的部衆快步在山林間穿梭着，山林間黑黢黢的，根本沒有多少光亮。這夥人本身就是做強盜的，在這樣的山林裡行軍倒也沒有什麼顧慮。
楊再興三十多歲，他身材魁梧，滿面虯髯，行動起來卻十分迅捷，健步如飛。他身後緊緊追隨着上千訓練有素的軍卒，每個人身穿輕便的皮甲，都幾乎武裝到了牙齒。這些部下大都是出身湘南山裡的漢子，行走山間如履平地。
這支部隊是現成在廣南西路所剩不多的精銳之一。
楊再興率領這支精銳賊軍接近到莫邪關的宋軍營地，此時的宋軍依舊在飲酒作樂，絲毫沒有察覺到危險已經降臨。
“已經接近宋營，大家開始準備作戰。”在輕易解決掉宋軍佈置的幾名崗哨後，楊再興悄悄地向後吩咐道。
此時山地間雨霧繚繞，餘老三喝得有些多了，站在一處山石上往下撒尿，他似乎聞到了空氣中瀰漫着一股血腥氣。餘老三搖了搖頭，使勁抽動鼻子嗅了兩下，突然一個激靈就清醒了過來。
一把短刀從側下方冒了出來，直剌他的腰間。餘老三什麼也顧不上了，伸出手掌就將短刀拍向了一旁，右手也被劃破，血淋淋的。
“賊軍來了……”餘老三終於是大吼了一聲，與此同時，一柄泛着寒光的長槍已經穿透了他的後背……
在猝不及防之下，宋軍倉促迎敵，在混亂之中，楊再興勇不可擋，將韓順夫斬殺在地。宋營中一片大亂，岳飛的胞弟嶽翻也死於亂軍當中。
只不過楊再興卻沒能趁勝一舉奪下莫邪關，因爲在他襲擊宋軍營寨之時，恰巧岳家軍的後軍統制王經也率部趕到了莫邪關。楊再興雖然神勇，卻也不能扭轉戰局，只能是趁亂擺脫了宋軍的反擊，逃遁到山林之中。
岳家軍經此小挫，行軍作戰愈加小心。
在剿滅了曹成的西路部隊之後，閏四月初，岳飛率神武副軍與廣南西路經略安撫使司統制歐陽臨、羅選兩部自桂州東進，直抵賀州境內，開始剿除曹成的東路軍。
雙方在賀州進行了一場決戰，岳飛率所部一萬餘人大破曹成三萬多賊軍。曹成大軍潰敗，其後岳家軍尾隨追擊，根本不給曹成有整頓收攏潰兵的機會，十日內連戰七場，殺得曹成匪部全無招架之力，曹成隻身逃遁隱匿，其部潰散，最終無力再興風作浪。
楊再興也被岳家軍圍困在臨賀嶺的山上，他自莫邪關一戰出名，爲很多岳家軍將士所認識，故而大家緊迫不捨。楊再興走投無路，跳入深澗之中，軍士們張弓搭箭，準備射死他。張憲卻念其勇武，出言阻止了部下們的行動。
楊再興束手就縛，張憲將他押解回軍。岳飛見後，不計較殺弟之仇，親解其縛說道：“我與汝是同鄉，汝爲好漢也，吾不殺汝，當以忠義報國家！”
楊再興遂降岳飛，其後忠心耿耿地追隨岳飛征戰，至死無二。
岳飛平定了曹成匪患，在俘虜中擇其精壯編入自己的隊伍，殘弱者放還其家。經此一役，岳家軍兵馬壯大到了三萬餘人，終於成爲了南宋方面一支可獨擋一面的部隊。其後岳家軍又返回江南西路，平定吉州等地匪患，經過一年多的征戰，岳家軍又擴大到了五萬餘衆，在兵力上也趕上了人馬最多的劉氏兄弟。