军阀的残暴统治激发农民武装反抗
当时，河南驻扎着直鲁豫两湖巡阅使吴佩孚的军队十多万人，一切粮饷就地征派，各种苛捐杂税均摊下来河南农民每人要负担3元以上。广大农村为了抗捐反暴及土匪散兵的骚扰，自发形成了各类自卫团体，其中以红枪会最普遍，力量也最强。李大钊和北方区委派人深入信阳、杞县、荥阳等地，争取红枪会，并以此为基础组建豫卫军。
李大钊亲自指导部署河南农民运动
1926年3月3日，吴佩孚宣布在河南全省解散红枪会及豫卫军。4月3日,吴又发出命令,对不从速解散的红枪会,要予以剿办。5月，吴佩孚派出1个旅围剿杞县、通许一带的红枪会，屠杀5000人之多,村庄被烧毁30余处，与红枪会有关的其他村庄也都劫掠一空。
这一系列暴行使各地红枪会与吴佩孚军阀势力彻底决裂。李大钊及时分析了红枪会态度的变化，制定了利用红枪会袭击吴佩孚后方的意见，大批倾向革命、有实战经验的革命军人被分配到各个地区活动，吴佩孚的老巢洛阳和重兵屯扎的京汉路两侧郑州、长葛、新乡、许昌、驻马店等地都安排了专人负责。
河南农民武装搅乱吴佩孚军队后方
8月23日，吴佩孚紧急调动部队南下增援湖北，但京汉铁路从黄河以南50公里处，直至豫鄂交界的信阳被农民武装炸成了一段一段。吴部只好徒步南下，沿途抓车、抓夫、抢粮，红枪会等武装联合地方民团进行阻拦，重新夺回大批粮食等物资，也迟滞了吴佩孚部队南下的速度。
随着吴佩孚势力的崩溃，其在河南驻扎的魏益三等部队纷纷加入冯玉祥国民军或国民革命军。以李大钊为首的北方区委加速了河南各地农民武装力量的改编整合。9月18日，各地代表召开会议，成立了全省农民自卫团总部。针对奉系势力的二次北伐开始后，河南省各地农民代表与1927年3月15日至21日在武昌召开了全省武装农民代表大会。
河南农民武装打击奉系军阀
1927年5月，武汉国民革命军开辟河南战场后，河南武装农民纷纷起来响应北伐军对奉作战，“挑茶担饭、救护伤兵”，用牛车、手推车给革命军运输行李子弹，把屋里的门扇扛来给北伐军搭桥，四处破坏奉军运送官兵的铁路和交通要道，帮助北伐军迅速占领了上蔡、西平、漯河、郾城、临颍等地。
当奉军从漯河一带退却时，许昌红枪会集合了十余万人，沿途截击，使奉军“狼狈逃散，枪支沿途抛弃”。当北伐军在郾城一带与奉军激战时，附近杞县、睢县农民武装趁机暴动，迅速攻占了通许、陈留县城，威胁奉军侧后方安全。从山西出兵豫西的冯玉祥部在当地农民武装协助下，也迅速取得了新安、洛阳之战的胜利，向京汉、陇海铁路交通枢纽郑州挺进。