绍兴元年七月，宋廷将岳家军的军号定名为神武右副军，任命岳飞为统制，驻屯洪州。
十月，宋廷授岳飞亲卫大夫、建州观察使。
十一月，岳家军改号神武副军，岳飞升为都统制。
绍兴二年正月，为剿除两湖一带的游寇，宋廷任命岳飞为权知潭州兼权荆湖东路安抚使、马步军都总管。
三月十七日，岳飞率军由洪州出发，前往讨伐侵扰湖南、广南诸州的曹成。
岳飞向曹成晓谕宋廷意旨，望其投降，曹成执意不降。
岳飞便继续进军，经郴州、桂阳监，直抵道州。
四月，岳飞派前军统制张宪和吴锡取道全州，往西南进军桂州，解除了曹成军对桂州的包围。
曹成军战败南逃，退守荔浦县东北的莫邪关。
岳飞命张宪攻关，正当岳家军攻破关厢庆功之时，却遭曹成部将杨再兴反扑，岳家军第五将正将韩顺夫被杀，入关官军被迫后撤。
杨再兴骁勇非常，连战岳家军统制王经、张宪等三将，并杀死了岳飞的胞弟岳翻。
闰四月，岳家军进入贺州，曹成在太平场布阵数十里抗拒。
岳飞故意向曹成麾下探子透露军粮将尽准备撤军的假情报，吸引曹成前来追击。岳家军遂乘夜间进军太平场，攻破了曹成营寨。
六日，岳飞又以八千人大败曹成三万余人，曹成逃往桂岭县。
曹成派都统领王渊占据北藏岭、上梧关和蓬岭，凭险据守。
岳飞率军猛攻，突破了三道防线，曹成败走。
岳飞尽据其寨，缴获其刀枪、金鼓、旗帜等物。杨再兴被张宪所部生擒，杨再兴说。
“我是好汉，当执我见岳飞。”
岳飞抛下斩将杀弟之仇，亲解杨再兴之缚，并说道。
“我与尔是乡人，汝好汉也，吾不杀汝，当以忠义报国家！”
杨再兴遂诚心归降。
凡被曹成裹胁的当地良民，岳飞皆令遣返田里，又先后招降其众两万余人。
曹成四处逃窜，最终向韩世忠投降。
六月，岳飞因平游寇之功授中卫大夫、武安军承宣使。
岳家军屯兵江州，守卫长江中游。
岳飞在先后平定了游寇李成、张用、曹成和吉州、虔州的叛乱后，于绍兴三年九月到临安觐见宋高宗赵构。
赵构赐给岳飞铠甲、弓箭等物，及御书“精忠岳飞”锦旗一面，作为军中张挂的大纛。
觐见时，赵构还就岳飞在洪州时曾于醉后痛殴兵马钤辖赵秉渊一事，面谕岳飞戒酒，岳飞自此绝饮。
同月，宋廷授岳飞镇南军承宣使，除江南西路舒、蕲州制置使。
岳家军改号神武后军，岳飞为统制。
随后，牛皋、董先、李道等所部也被拨归岳家军，岳家军兵力得到扩充，达到两万多人的规模。
绍兴四年春，岳飞上《乞复襄阳札子》，提出收复陷于伪齐政权的襄汉六郡的主张，并说。
“恢复中原，此为基本。”
岳飞的提议得到朝中宰执朱胜非、赵鼎的支持，宋廷最终决定由岳家军出兵收复襄汉，刘光世军增援。
于三月十三日正式任命岳飞为荆湖北路前沿统帅，在他的制置使官职上添入“兼制置荆南、鄂、岳”的加衔。
但赵构又特别规定岳家军不得称“提兵北伐或言收复汴京”，只以收复六郡为限，否则“虽立奇功，必加尔罚”。
