陕甘边区位于陕西北部和甘肃东部，包括陕甘边和陕北两个地区，它地处西北高原，远离中国的政治经济中心，山峦起伏，交通不便。在这里，阶级矛盾尖锐，大小军阀连年混战，地主豪绅横征暴敛，民不聊生。但就是在这一不发达的内陆地区，在中国共产党的领导下，反对国民党反动统治的武装斗争此起彼伏：从1927年10月开始，先后举行了由唐澎、谢子长等领导的清涧起义，刘志丹、唐澎等领导的渭华起义，吕佑乾、许才生等领导的栒邑(今旬邑)起义等多次武装起义，这些起义虽然都失败了，但它们的影响却是深远的，中国共产党的影响力日益增加。1930年，当陕西发生严重旱灾时，中国共产党提出了“天不下雨，天逼民反，苛捐杂税，官逼民反，若要不反，离死不远，大家起来，实行共产”的口号，得到农民群众的广泛响应。中国共产党领导的武装力量在陕西地区一直以各种方式进行着斗争。
1930年，刘志丹在兵运工作遭受挫折后，在陕甘边领导农民武装，经过一年多的游击活动，组建了陕甘边第一支共产党直接领导的游击队，即南梁游击队。游击队下辖3个大队，全队300余人。游击队在南梁、西华池一带展开斗争，积极打击民团的活动，发动群众抗粮抗捐。埃德加·斯诺在他著名的塔红星照耀中国》一书中，这样描写刘志丹：
远在西北的群山里，另一位黄埔军校学员刘志丹为陕甘宁苏区打下了基础、刘志丹是个现代罗宾汉，怀有山里人对富人的仇恨；在穷人中间，他成了救星；而在地主和放债者中间，他又是上天的神鞭。
从1929年到1932年，刘志丹的生涯像万花筒一样充满了失败、挫折、沮丧、造反、冒险和死里逃生，他曾官复原职体面过一阵。他所领导的凡支小队伍全被消灭；他还一度出任保安民团团长，他利用自己的职权逮捕处决了几个地主和老财——这对一个民团首领而言是奇怪的行为。保安县长因此而被撤职，刘志丹与三个部下则逃到了邻县。在该县，冯玉祥将军的一个军官宴请他们，在席间酒酣之际，刘志丹和他的朋友解除了主人的武装，拿了二十多条枪逃到山上，他们很快又在那里集结了大约三百人的队伍。
最后他带着被悬赏的脑袋回到了保安——他自己旅里面的许多共产党人和青年军官也跟着他回去了。在那里，他终于在1931年又组建了一支红旗下的独立的军队，占领了保安和中阳县，并迅速地在陕北开展了活动。
1931年3月，中共山西省委以共产党员20余人为骨干，在孝义县宋庄成立了中国工农红军晋西游击队，在吕梁山一带开展游击战争。晋西游击队的活动，威胁到闰民党在山西的统治。国民党山西省政府调集第72师和1个炮兵团，以修堡扎点、四面围攻的手段，“围剿”晋西游击队。晋西游击队在形势极端困难的情况下，决定按照中共山西省委“如果敌人调遣强大的兵力围攻，游击队无法立足时，可以过黄河到陕北打游击”的指示，整顿队伍，于9月初西渡黄河，到达清涧县高杰村，此时部队有30人，全系共产党员，他们拥有70多条枪。
中共陕北特委指示游击队要发动群众，扩大力量，在安定等县开展游击战争，必要时可向陕甘边活动，并指示动员共产党员和青年农民30多人参加了游击队。游击队迅速发展到100多人。之后，晋西游击队以安定为中心，在延川、安塞、靖边等地区转战数月，打击国民党军和地主阶级，壮大了力量、对国民党和陕西军阀在陕北的统治造成了很大威胁。国民党军纠集了10多个连的兵力在民团配合下向游击队进攻。晋西游击队在阎红彦等的率领下，避开优势敌人的进攻，向陕甘边转移。
10月下旬，晋西游击队与南梁游击队在陕甘边界的合水县林锦庙会合。为了适应全国抗日救国运动的发展形势，会合后的革命武装经过整顿，1932年初，在甘肃正宁县柴桥子合编为“西北反帝同盟军”。谢子长任总指挥，刘志丹任副总指挥，杨重远任参谋长。全军300余人，分为2个支队和1个警卫大队，同时成立了中共西北反帝同盟军委员会，谢子长任书记。1932年2月，西北反帝同盟军改编为“中国工农红军陕甘游击队”，并举行了授旗仪式。陕甘游击队设立总指挥部，谢子长、刘志丹、阎红彦先后任总指挥，李杰夫任政治委员。全队共400余人，300余支枪。当地群众和代表们热烈庆祝第一支红军游击队的诞生。
陕甘游击队特别重视扩大共产党和红军游击队的影响，对人民群众进行革命宣传。它颁发刘志丹亲自起草的《中国工农红军陕甘游击队布告》，指出：
为布告事，中国工农红军陕甘游击队经过晋陕甘数省与国民党军阀血战数十次，战无不胜，攻无不克，所到之地，白军闻风披靡，帮助正宁、山水、浮化农民建立革命委员会，组织赤卫队，帮助三原、富平、彬州、礼泉、宜君、中部等数十县工农分配豪坤地主的粮食财产数百万。劳苦群众和红军游击队团结一致，根本动摇西北国民党军阀统治，推进西北革命迅速向前发展，使广大劳苦工农及白军士兵同志起来，为打倒国民党军阀剥削与压迫而斗争，为解放自己而斗争来参加红军游击队，拥护红军游击队起见，特宣布本军根本任务于左：
一、本军是贫苦工农自己的武装力量，在中国共产党领导之下，与国民党军阀作必死的斗争，绝不与任何统治势力相妥协。二、本军所到区域对于国民党军阀统治机关—县政府、区公所、民团局、里正等一律铲除。三、原国民党军阀给予工农劳苦群众一切苛捐杂税摊派勒索工作无效。四、帮助穷苦工农、白军士兵起来分配豪钟地主的食粮财产和土地。五、一切文字的口头的高利贷、账债、契约，宣告无效。六、缴收白军、民团、警察的武装，武装农民赤卫队，保护自己的利益。七、建立陕甘农工兵代表会议——苏维埃政府。八、创建西北工农红军。
以上为本军之根本任务，望各地劳苦工农及白军士兵同志深刻认识并迅速协同本军努力执行，以期早日实现，是为至要。此布。
总指挥 刘志丹
政治主任 黄子文
中华苏维埃共和国二年月日
陕甘游击队的布告清楚地表明了它的无产阶级革命军队的性质。2月28日，中共陕西省委员会发布了哎为拥护中国工农红军陕甘游击队告工农兵及一切劳苦民众书》，号召各界群众起来进行斗争。布告指出：
只有团结起来，为自己切身利益而斗争，拥护红军陕甘游击队！反对“围剿”陕甘游击队！
工人要增加工资，减少工作时间，改良待遇，集会、结社、言论、出版、罢工，完全自由。
农民要抗税抗债抗捐，分配豪绅地主富农的食粮，没收军阀地主豪绅富农的土地给穷人平均分配，武装起来开发游击战争！
士兵要算账，管账，不准打骂，要经常发饷，请假自由，退伍自由，选举长官，打死反动长官，哗变起来，投到红军中去！
城市贫民向政府要饭吃，要衣穿，要事做，工农兵城市贫民联合起来，打倒国民党打倒日本帝国主义，打倒一切帝国主义！
1932年3月21日，陕甘游击队成立后不久，中共陕西省委向中央作了汇报：
中国红军陕甘游击队，已于一月前在陕甘边境栒邑(即三水)举行宣誓授旗典礼，发表宣言通电指令等。共编制三个大队，设立总指挥部，人数共四百余人，枪三百余支，都是好枪……红军游击队继续不断的胜利，政治影响非常迅速深入到农民士兵群众中去，大大地提高了农民士兵的决心和勇气，各部队的革命兵变足迅速的可以组织起来……军事上必须准备成立正式红军，怎样编制，番号如何规定，请立即答复。
遵照中共陕西省委指示，陕甘游击队东入陕西，积极开展游击活动。在陕甘游击队成立后的第二天，游击队就主动出击，消灭栒邑职田镇民团，捣毁区公所，烧了区公所的账簿和地主豪绅的契约，并发动群众，组织农会，领导群众进行分粮斗争。陕西地方军阀命令其警卫团第3营和彬县等3县民团约1000余人向职田镇袭来。
陕甘游击队得到敌人进攻计划后，2月15日，谢子长率部在职田镇以东20余里处的阳坡头设伏，袭击敌人。当敌先头部队进入阳坡头村边时，谢子长指挥2个大队迅速出击，将敌前卫击退。敌主力展开后，以猛烈火力向游击队射击。谢子长派2个班迂回侧击，敌人顿时慌乱动摇。活动在警卫团内的中共地下党员、时任连长的李明轩趁机大声呼喊：“红军来了，快跑啊。”国民党军士兵竞相后逃。兵败如山倒，游击队趁势全线反击，敌人溃散。游击队向敌人进行猛烈追击。此役，游击队歼灭警卫团第3营和民团一部，毙敌160余名，俘敌约400余人，缴枪500余支。战后，红军向俘虏进行了宣传，对愿意参加红军的开了欢迎会，其余则发了路费，遣散回家，为受伤的俘虏进行了治疗，并将敌人的尸体送回了彬县，打破了敌人“红军杀俘虏”的宣传。
阳坡头战斗后，陕西省闰民党地方当局又调集几个团的兵力对陕甘游击队发动进攻。谢子长率部避敌锋芒，向东南转移，击溃庙湾民团之后，跳出敌人的包围圈。然后转向东南，乘元宵节敌人警备松懈之机，袭击耀县照金镇，全歼照金民团。4月中旬，陕甘游击队应群众要求，在赤卫军的配合下进攻山河镇。红军缺乏攻坚火力，战斗失利，部队伤亡较大，由300余人减少到100余人。21日，谢子长率游击队乘栒邑县城敌人防守空虚、警戒疏忽之机，突然奔袭了栒邑县城，消灭了民团团部和监狱守敌。游击队在城内召开群众大会，宣传革命主张，将没收来的粮食和衣物分给穷苦百姓。这是陕甘游击队攻占的第一座县城，扩大了影响，也使部队获得了大量给养。战后，红军游击队根据中共陕西省委指示，进抵栒邑马家堡，将部队分编为第3、第5支队，由刘志丹、阎红彦分别率领，于西兰公路之永寿、乾县和三原一带开展游击战争，红军得到扩大。
5月，国民党军调集重兵分3路对陕甘游击队进行“进剿”。陕甘游击队召开队委会分析敌情，认为国民党军第86师第511团驻守中部、宜君、洛川各县，战斗力较弱，且距离其统治中心地区都远。该地又是山区，红军游击队在群众中有一定的影响，遂决定向此处国民军发起攻击。5月15日夜，陕甘游击队在刘志丹统一指挥下，奔袭马栏镇，消灭国民党军2个连及民团一部，17日又连续歼灭国民党军2个连和焦家坪、五里镇等地民团共500余人。国民党第17路军特务团跟踪追击，和国民党军第511团残部对陕甘游击队形成夹击之势。红军跳出敌人包围圈。30日，红军游击队进至牛武镇。乘国民党军第86师1个营刚刚进至英旺镇，立足未稳之机，于31日上午奔袭该敌，一举将其全歼，缴枪300余支，弹药2万余发。陕甘游击队转战于鄜县(今富县)、洛川、中部、宜君等地，经过半个月的艰苦转战，进行大小战斗9次，8次获胜，歼敌1400余人，缴枪1200余支和大批军用物资。国民党军转人防守，敌第17路军警卫团退守原防。陕甘游击队粉碎了敌人的“进剿”，部队迅速发展到1500余人。