建炎四年(1130年)，嶽飛奉命獨立成軍。此時，軍營中僅有不到10000的正兵。随後，又經過一些征戰與收編，到紹興四年(1134年)，嶽飛收複襄漢六郡時，嶽家軍兵力已增至35000多人。依靠嚴格的軍紀，嶽家軍才得以從“四方亡命、樂縱、嗜殺之徒”，最終發展成“奉令承教，無敢違戾”的真正軍隊。靠着刀斧棍棒之威，一個真正意義上的威武之師得以創立。
趙宋如果要收複整個北方，就必須傾舉國之力發動全面的戰略性反攻，這個場面太大，單獨一直不到十萬人的嶽家軍再能打，也是不夠的，趙構12道金牌下達的時候，之前東線的其他戰場，宋軍都已撤退，如果嶽飛不管不顧自己單獨進軍，在河南戰場應該還會有一定進展，拿下開封的可能性很大，但是随着與朝廷決裂後，後勤資源的斷絕，兵力損耗的加大，金國可以傾舉國之力從其他戰場調集軍隊圍剿嶽飛，到最後還是死路一條。
嶽飛的忠勇、軍力與戰績引起朝廷與高宗的注意，七月，朝廷授嶽飛昌州防禦使、通泰鎮撫使兼泰州知州。1131年十二月，嶽飛升任神武副軍都統制，跻身大将行列。當時人們習慣以統兵大将的姓氏冠以軍名，如稱劉光世所部為“劉家軍”、韓世忠所部為“韓家軍”、張俊部為“張家軍”。按照習慣，人們亦稱嶽飛所部為“嶽家軍”，自此，“嶽家軍”的名号開始叫響，而且越叫越響。
嶽家軍是民間的一種口頭說法，并非官方名稱，也不是一個正式編制。當時習慣以統帥的姓氏來稱呼其所統領的軍隊，比如張俊部可稱為“張家軍”，韓世忠部被稱為“韓家軍”，劉光世部被稱為“劉家軍”等，尤其是嶽飛所部嶽家軍，骁勇善戰，紀律嚴明，成為南宋朝廷立國江南的屏障，在抗金鬥争中起着舉足輕重的作用。