1934年11月下旬，红25军离开大别山，开始长征。但辛苦创建的鄂豫皖苏区却不能轻易丢弃，最终上级把留守大别山的任务交给了时任中共皖西北道委书记的高敬亭。高敬亭是河南光山人，1907年出生，因为家里穷，小时候吃了不少苦。参加红军后，作战十分勇敢，多次获得上级的表扬。这次临危受命后，他将活动在鄂豫皖苏区的红军游击队组织起来，成立红28军，下辖第82师和一个手枪团，全军总兵力1100人。
当时在大别山的敌军有多少呢？10万之众！主要有第11路军、第25路军和东北军一部组成，总指挥是刘镇华。由于兵力和武器装备都占据绝对优势，因此老蒋严令刘镇华在一个月内消灭红28军。刘镇华根本就没把红军放在眼里，他把十万大军分成了十多路，每路都有数千之众，刘镇华认为任何一路红军都吃不下。的确，硬拼的话，红军哪一路都拼不过，但高敬亭才不和刘镇华硬拼呢，他带着红28军进山和敌人捉起了迷藏。
刘镇华的十万大军在大别山里转了半个月，连红军的影子都没有看到，一个个累得气喘吁吁，苦不堪言。刘镇华见状，只能下令撤退。但想跑就没那么容易了，高敬亭集中兵力对敌人下手了，红28军先是在吴家店樟树坪设伏，全歼敌194旅622团；接着又在鸡冠山全歼敌独五旅613团；1935年4月9日，高敬亭又指挥红28军在桃花山设伏，全歼独五旅612团，击毙敌团长张永和。
刘镇华不仅没能消灭红28军，反而被红28军消灭了三个团，他的嫡系精锐独五旅更是遭受了灭顶之灾，几乎被全歼。老蒋见刘镇华如此无能，一怒之下将其撤职，任命25路军总指挥梁冠英为大别山“剿共”总指挥，继续向红28军进攻。梁冠英上任后，将大别山划为四个“清剿区”，分片“清剿”，同时还在各“清剿区”间建立联防队，负责各防区之间的联络。
针对敌情变化，高敬亭制定了“三打三不打”原则，即敌情明、地形好、缴获大则打；敌情不明、地形不好、缴获不大则不打；无大伤亡则打，伤亡大则不打。同时还规定了对待各路强弱敌人的作战原则：拖垮25路军，相机打击11路军和东北军，坚决打击地方保安团。在这些方针的指导下，红军不仅粉碎了梁冠英的“围剿”，自身的兵力也发展到了2000多人。老蒋见红28军越“剿”越强，大骂梁冠英“废物”，将其撤职查办，同时任命卫立煌为大别山“剿共”总指挥。
卫立煌上任后，重新划定了“清剿”区，并实行“军政并进”和“碉堡政策”，强迫百姓订立“五家连保”，一家“通共”，五家俱杀。同时还在大别山各个交通要道修筑了密密麻麻的碉堡和封锁沟，做完这一切后，卫立煌亲率17万大军向红28军猛扑过来，妄图一举将我军全歼。面对来势汹汹的敌人，高敬亭一面指挥部队游击，一面对之前的政策做了相应的调整。
对待根据地内国民党地方政权和民团，实行“攻心为上，攻击为下”的政策。加强与地方开明人士的联络，建立两面政权。对地方开明人士的生命财产给予保护，即使是一些思想反动的地方实权人物，只要不与红军为敌，不残害红军家属，红军也不打不杀；对向红军提供钱粮帮助的，或给红军掩护伤病员的，红军给予保护，并为其保密。这些措施的施行，使卫立煌精心策划的“军政并进”策略破了产。
卫立煌想尽了种种办法，却收效甚微，就在他不知如何向老蒋交代的时候，抗日战争全面爆发了，国共两党开始合作抗日，卫立煌终于找到了一个体面的借口离开了大别山。高敬亭在大别山坚持了三年多的游击战争，牵制了近20万国军，歼敌3万余人。老蒋先后更换了三任“进剿”总指挥都拿红28军毫无办法，高敬亭军事才能之高，令人叹服！可惜这样一员骁将，却在1939年的时候被错杀，年仅32岁。