1934年11月下旬，紅25軍離開大别山，開始長征。但辛苦建立的鄂豫皖蘇區卻不能輕易丢棄，最終上級把留守大别山的任務交給了時任中共皖西北道委書記的高敬亭。高敬亭是河南光山人，1907年出生，因為家裡窮，小時候吃了不少苦。參加紅軍後，作戰十分勇敢，多次獲得上級的表揚。這次臨危受命後，他将活動在鄂豫皖蘇區的紅軍遊擊隊組織起來，成立紅28軍，下轄第82師和一個手槍團，全軍總兵力1100人。
當時在大别山的敵軍有多少呢？10萬之衆！主要有第11路軍、第25路軍和東北軍一部組成，總指揮是劉鎮華。由于兵力和武器裝備都占據絕對優勢，是以老蔣嚴令劉鎮華在一個月内消滅紅28軍。劉鎮華根本就沒把紅軍放在眼裡，他把十萬大軍分成了十多路，每路都有數千之衆，劉鎮華認為任何一路紅軍都吃不下。的确，硬拼的話，紅軍哪一路都拼不過，但高敬亭才不和劉鎮華硬拼呢，他帶着紅28軍進山和敵人捉起了迷藏。
劉鎮華的十萬大軍在大别山裡轉了半個月，連紅軍的影子都沒有看到，一個個累得氣喘籲籲，苦不堪言。劉鎮華見狀，隻能下令撤退。但想跑就沒那麼容易了，高敬亭集中兵力對敵人下手了，紅28軍先是在吳家店樟樹坪設伏，全殲敵194旅622團；接着又在雞冠山全殲敵獨五旅613團；1935年4月9日，高敬亭又指揮紅28軍在桃花山設伏，全殲獨五旅612團，擊斃敵團長張永和。
劉鎮華不僅沒能消滅紅28軍，反而被紅28軍消滅了三個團，他的嫡系精銳獨五旅更是遭受了滅頂之災，幾乎被全殲。老蔣見劉鎮華如此無能，一怒之下将其撤職，任命25路軍總指揮梁冠英為大别山“剿共”總指揮，繼續向紅28軍進攻。梁冠英上任後，将大别山劃為四個“清剿區”，分片“清剿”，同時還在各“清剿區”間建立聯防隊，負責各防區之間的聯絡。
針對敵情變化，高敬亭制定了“三打三不打”原則，即敵情明、地形好、繳獲大則打；敵情不明、地形不好、繳獲不大則不打；無大傷亡則打，傷亡大則不打。同時還規定了對待各路強弱敵人的作戰原則：拖垮25路軍，相機打擊11路軍和東北軍，堅決打擊地方保安團。在這些方針的指導下，紅軍不僅粉碎了梁冠英的“圍剿”，自身的兵力也發展到了2000多人。老蔣見紅28軍越“剿”越強，大罵梁冠英“廢物”，将其撤職查辦，同時任命衛立煌為大别山“剿共”總指揮。
衛立煌上任後，重新劃定了“清剿”區，并實行“軍政并進”和“碉堡政策”，強迫百姓訂立“五家連保”，一家“通共”，五家俱殺。同時還在大别山各個交通要道修築了密密麻麻的碉堡和封鎖溝，做完這一切後，衛立煌親率17萬大軍向紅28軍猛撲過來，妄圖一舉将我軍全殲。面對來勢洶洶的敵人，高敬亭一面指揮部隊遊擊，一面對之前的政策做了相應的調整。
對待根據地内國民黨地方政權和民團，實行“攻心為上，攻擊為下”的政策。加強與地方開明人士的聯絡，建立兩面政權。對地方開明人士的生命财産給予保護，即使是一些思想反動的地方實權人物，隻要不與紅軍為敵，不殘害紅軍家屬，紅軍也不打不殺；對向紅軍提供錢糧幫助的，或給紅軍掩護傷病員的，紅軍給予保護，并為其保密。這些措施的施行，使衛立煌精心策劃的“軍政并進”政策破了産。
衛立煌想盡了種種辦法，卻收效甚微，就在他不知如何向老蔣交代的時候，抗日戰争全面爆發了，國共兩黨開始合作抗日，衛立煌終于找到了一個體面的借口離開了大别山。高敬亭在大别山堅持了三年多的遊擊戰争，牽制了近20萬國軍，殲敵3萬餘人。老蔣先後更換了三任“進剿”總指揮都拿紅28軍毫無辦法，高敬亭軍事才能之高，令人歎服！可惜這樣一員骁将，卻在1939年的時候被錯殺，年僅32歲。