軍閥的殘暴統治激發農民武裝反抗
當時，河南駐紮着直魯豫兩湖巡閱使吳佩孚的軍隊十多萬人，一切糧饷就地征派，各種苛捐雜稅均攤下來河南農民每人要負擔3元以上。廣大農村為了抗捐反暴及土匪散兵的騷擾，自發形成了各類自衛團體，其中以紅槍會最普遍，力量也最強。李大钊和北方區委派人深入信陽、杞縣、荥陽等地，争取紅槍會，并以此為基礎組建豫衛軍。
李大钊親自指導部署河南農民運動
1926年3月3日，吳佩孚宣布在河南全省解散紅槍會及豫衛軍。4月3日,吳又發出指令,對不從速解散的紅槍會,要予以剿辦。5月，吳佩孚派出1個旅圍剿杞縣、通許一帶的紅槍會，屠殺5000人之多,村莊被燒毀30餘處，與紅槍會有關的其他村莊也都劫掠一空。
這一系列暴行使各地紅槍會與吳佩孚軍閥勢力徹底決裂。李大钊及時分析了紅槍會态度的變化，制定了利用紅槍會襲擊吳佩孚後方的意見，大批傾向革命、有實戰經驗的革命軍人被配置設定到各個地區活動，吳佩孚的老巢洛陽和重兵屯紮的京漢路兩側鄭州、長葛、新鄉、許昌、駐馬店等地都安排了專人負責。
河南農民武裝攪亂吳佩孚軍隊後方
8月23日，吳佩孚緊急調動部隊南下增援湖北，但京漢鐵路從黃河以南50公裡處，直至豫鄂交界的信陽被農民武裝炸成了一段一段。吳部隻好徒步南下，沿途抓車、抓夫、搶糧，紅槍會等武裝聯合地方民團進行阻攔，重新奪回大批糧食等物資，也遲滞了吳佩孚部隊南下的速度。
随着吳佩孚勢力的崩潰，其在河南駐紮的魏益三等部隊紛紛加入馮玉祥國民軍或國民革命軍。以李大钊為首的北方區委加速了河南各地農民武裝力量的改編整合。9月18日，各地代表召開會議，成立了全省農民自衛團總部。針對奉系勢力的二次北伐開始後，河南省各地農民代表與1927年3月15日至21日在武昌召開了全省武裝農民代表大會。
河南農民武裝打擊奉系軍閥
1927年5月，武漢國民革命軍開辟河南戰場後，河南武裝農民紛紛起來響應北伐軍對奉作戰，“挑茶擔飯、救護傷兵”，用牛車、手推車給革命軍運輸行李子彈，把屋裡的門扇扛來給北伐軍搭橋，四處破壞奉軍運送官兵的鐵路和交通要道，幫助北伐軍迅速占領了上蔡、西平、漯河、郾城、臨颍等地。
當奉軍從漯河一帶退卻時，許昌紅槍會集合了十餘萬人，沿途截擊，使奉軍“狼狽逃散，槍支沿途抛棄”。當北伐軍在郾城一帶與奉軍激戰時，附近杞縣、睢縣農民武裝趁機暴動，迅速攻占了通許、陳留縣城，威脅奉軍側後方安全。從山西出兵豫西的馮玉祥部在當地農民武裝協助下，也迅速取得了新安、洛陽之戰的勝利，向京漢、隴海鐵路交通樞紐鄭州挺進。