陝甘邊區位于陝西北部和甘肅東部，包括陝甘邊和陝北兩個地區，它地處西北高原，遠離中國的政治經濟中心，山巒起伏，交通不便。在這裡，階級沖突尖銳，大小軍閥連年混戰，地主豪紳橫征暴斂，民不聊生。但就是在這一不發達的内陸地區，在中國共産黨的上司下，反對國民黨反動統治的武裝鬥争此起彼伏：從1927年10月開始，先後舉行了由唐澎、謝子長等上司的清澗起義，劉志丹、唐澎等上司的渭華起義，呂佑乾、許才生等上司的栒邑(今旬邑)起義等多次武裝起義，這些起義雖然都失敗了，但它們的影響卻是深遠的，中國共産黨的影響力日益增加。1930年，當陝西發生嚴重旱災時，中國共産黨提出了“天不下雨，天逼民反，苛捐雜稅，官逼民反，若要不反，離死不遠，大家起來，實行共産”的口号，得到農民群衆的廣泛響應。中國共産黨上司的武裝力量在陝西地區一直以各種方式進行着鬥争。
1930年，劉志丹在兵運工作遭受挫折後，在陝甘邊上司農民武裝，經過一年多的遊擊活動，組建了陝甘邊第一支共産黨直接上司的遊擊隊，即南梁遊擊隊。遊擊隊下轄3個大隊，全隊300餘人。遊擊隊在南梁、西華池一帶展開鬥争，積極打擊民團的活動，發動群衆抗糧抗捐。埃德加·斯諾在他著名的塔紅星照耀中國》一書中，這樣描寫劉志丹：
遠在西北的群山裡，另一位黃埔軍校學員劉志丹為陝甘甯蘇區打下了基礎、劉志丹是個現代羅賓漢，懷有山裡人對富人的仇恨；在窮人中間，他成了救星；而在地主和放債者中間，他又是上天的神鞭。
從1929年到1932年，劉志丹的生涯像萬花筒一樣充滿了失敗、挫折、沮喪、造反、冒險和死裡逃生，他曾官複原職體面過一陣。他所上司的凡支小隊伍全被消滅；他還一度出任保安民團團長，他利用自己的職權逮捕處決了幾個地主和老财——這對一個民團首領而言是奇怪的行為。保安縣長是以而被撤職，劉志丹與三個部下則逃到了鄰縣。在該縣，馮玉祥将軍的一個軍官宴請他們，在席間酒酣之際，劉志丹和他的朋友解除了主人的武裝，拿了二十多條槍逃到山上，他們很快又在那裡集結了大約三百人的隊伍。
最後他帶着被懸賞的腦袋回到了保安——他自己旅裡面的許多共産黨人和青年軍官也跟着他回去了。在那裡，他終于在1931年又組建了一支紅旗下的獨立的軍隊，占領了保安和中陽縣，并迅速地在陝北開展了活動。
1931年3月，中共山西省委以共産黨員20餘人為骨幹，在孝義縣宋莊成立了中國工農紅軍晉西遊擊隊，在呂梁山一帶開展遊擊戰争。晉西遊擊隊的活動，威脅到閏民黨在山西的統治。國民黨山西省政府調集第72師和1個炮兵團，以修堡紮點、四面圍攻的手段，“圍剿”晉西遊擊隊。晉西遊擊隊在形勢極端困難的情況下，決定按照中共山西省委“如果敵人調遣強大的兵力圍攻，遊擊隊無法立足時，可以過黃河到陝北打遊擊”的訓示，整頓隊伍，于9月初西渡黃河，到達清澗縣高傑村，此時部隊有30人，全系共産黨員，他們擁有70多條槍。
中共陝北特委訓示遊擊隊要發動群衆，擴大力量，在安定等縣開展遊擊戰争，必要時可向陝甘邊活動，并訓示動員共産黨員和青年農民30多人參加了遊擊隊。遊擊隊迅速發展到100多人。之後，晉西遊擊隊以安定為中心，在延川、安塞、靖邊等地區轉戰數月，打擊國民黨軍和地主階級，壯大了力量、對國民黨和陝西軍閥在陝北的統治造成了很大威脅。國民黨軍糾集了10多個連的兵力在民團配合下向遊擊隊進攻。晉西遊擊隊在閻紅彥等的率領下，避開優勢敵人的進攻，向陝甘邊轉移。
10月下旬，晉西遊擊隊與南梁遊擊隊在陝甘邊界的合水縣林錦廟會合。為了适應全國抗日救國運動的發展形勢，會合後的革命武裝經過整頓，1932年初，在甘肅正甯縣柴橋子合編為“西北反帝同盟軍”。謝子長任總指揮，劉志丹任副總指揮，楊重遠任參謀長。全軍300餘人，分為2個支隊和1個警衛大隊，同時成立了中共西北反帝同盟軍委員會，謝子長任書記。1932年2月，西北反帝同盟軍改編為“中國工農紅軍陝甘遊擊隊”，并舉行了授旗儀式。陝甘遊擊隊設立總指揮部，謝子長、劉志丹、閻紅彥先後任總指揮，李傑夫任政治委員。全隊共400餘人，300餘支槍。當地群衆和代表們熱烈慶祝第一支紅軍遊擊隊的誕生。
陝甘遊擊隊特别重視擴大共産黨和紅軍遊擊隊的影響，對人民群衆進行革命宣傳。它頒發劉志丹親自起草的《中國工農紅軍陝甘遊擊隊布告》，指出：
為布告事，中國工農紅軍陝甘遊擊隊經過晉陝甘數省與國民黨軍閥血戰數十次，戰無不勝，攻無不克，所到之地，白軍聞風披靡，幫助正甯、山水、浮化農民建立革命委員會，組織赤衛隊，幫助三原、富平、彬州、禮泉、宜君、中部等數十縣工農配置設定豪坤地主的糧食财産數百萬。勞苦群衆和紅軍遊擊隊團結一緻，根本動搖西北國民黨軍閥統治，推進西北革命迅速向前發展，使廣大勞苦工農及白軍士兵同志起來，為打倒國民黨軍閥剝削與壓迫而鬥争，為解放自己而鬥争來參加紅軍遊擊隊，擁護紅軍遊擊隊起見，特宣布本軍根本任務于左：
一、本軍是貧苦工農自己的武裝力量，在中國共産黨上司之下，與國民黨軍閥作必死的鬥争，絕不與任何統治勢力相妥協。二、本軍所到區域對于國民黨軍閥統治機關—縣政府、區公所、民團局、裡正等一律鏟除。三、原國民黨軍閥給予工農勞苦群衆一切苛捐雜稅攤派勒索工作無效。四、幫助窮苦工農、白軍士兵起來配置設定豪鐘地主的食糧财産和土地。五、一切文字的口頭的高利貸、賬債、契約，宣告無效。六、繳收白軍、民團、警察的武裝，武裝農民赤衛隊，保護自己的利益。七、建立陝甘農工兵代表會議——蘇維埃政府。八、建立西北工農紅軍。
以上為本軍之根本任務，望各地勞苦工農及白軍士兵同志深刻認識并迅速協同本軍努力執行，以期早日實作，是為至要。此布。
總指揮 劉志丹
政治主任 黃子文
中華蘇維埃共和國二年月日
陝甘遊擊隊的布告清楚地表明了它的無産階級革命軍隊的性質。2月28日，中共陝西省委員會釋出了哎為擁護中國工農紅軍陝甘遊擊隊告工農兵及一切勞苦群眾書》，号召各界群衆起來進行鬥争。布告指出：
隻有團結起來，為自己切身利益而鬥争，擁護紅軍陝甘遊擊隊！反對“圍剿”陝甘遊擊隊！
勞工要增加工資，減少工作時間，改良待遇，集會、結社、言論、出版、罷工，完全自由。
農民要抗稅抗債抗捐，配置設定豪紳地主富農的食糧，沒收軍閥地主豪紳富農的土地給窮人平均配置設定，武裝起來開發遊擊戰争！
士兵要算賬，管賬，不準打罵，要經常發饷，請假自由，退伍自由，選舉長官，打死反動長官，嘩變起來，投到紅軍中去！
城市貧民向政府要飯吃，要衣穿，要事做，工農兵城市貧民聯合起來，打倒國民黨打倒日本帝國主義，打倒一切帝國主義！
1932年3月21日，陝甘遊擊隊成立後不久，中共陝西省委向中央作了彙報：
中國紅軍陝甘遊擊隊，已于一月前在陝甘邊境栒邑(即三水)舉行宣誓授旗典禮，發表宣言通電指令等。共編制三個大隊，設立總指揮部，人數共四百餘人，槍三百餘支，都是好槍……紅軍遊擊隊繼續不斷的勝利，政治影響非常迅速深入到農民士兵群衆中去，大大地提高了農民士兵的決心和勇氣，各部隊的革命兵變足迅速的可以組織起來……軍事上必須準備成立正式紅軍，怎樣編制，番号如何規定，請立即答複。
遵照中共陝西省委訓示，陝甘遊擊隊東入陝西，積極開展遊擊活動。在陝甘遊擊隊成立後的第二天，遊擊隊就主動出擊，消滅栒邑職田鎮民團，搗毀區公所，燒了區公所的賬簿和地主豪紳的契約，并發動群衆，組織農會，上司群衆進行分糧鬥争。陝西地方軍閥指令其警衛團第3營和彬縣等3縣民團約1000餘人向職田鎮襲來。
陝甘遊擊隊得到敵人進攻計劃後，2月15日，謝子長率部在職田鎮以東20餘裡處的陽坡頭設伏，襲擊敵人。當敵先頭部隊進入陽坡頭村邊時，謝子長指揮2個大隊迅速出擊，将敵前衛擊退。敵主力展開後，以猛烈火力向遊擊隊射擊。謝子長派2個班迂回側擊，敵人頓時慌亂動搖。活動在警衛團内的中共地下黨員、時任連長的李明軒趁機大聲呼喊：“紅軍來了，快跑啊。”國民黨軍士兵競相後逃。兵敗如山倒，遊擊隊趁勢全線反擊，敵人潰散。遊擊隊向敵人進行猛烈追擊。此役，遊擊隊殲滅警衛團第3營和民團一部，斃敵160餘名，俘敵約400餘人，繳槍500餘支。戰後，紅軍向俘虜進行了宣傳，對願意參加紅軍的開了歡迎會，其餘則發了路費，遣散回家，為受傷的俘虜進行了治療，并将敵人的屍體送回了彬縣，打破了敵人“紅軍殺俘虜”的宣傳。
陽坡頭戰鬥後，陝西省閏民黨地方當局又調集幾個團的兵力對陝甘遊擊隊發動進攻。謝子長率部避敵鋒芒，向東南轉移，擊潰廟灣民團之後，跳出敵人的包圍圈。然後轉向東南，乘元宵節敵人警備松懈之機，襲擊耀縣照金鎮，全殲照金民團。4月中旬，陝甘遊擊隊應群衆要求，在赤衛軍的配合下進攻山河鎮。紅軍缺乏攻堅火力，戰鬥失利，部隊傷亡較大，由300餘人減少到100餘人。21日，謝子長率遊擊隊乘栒邑縣城敵人防守空虛、警戒疏忽之機，突然奔襲了栒邑縣城，消滅了民團團部和監獄守敵。遊擊隊在城内召開群衆大會，宣傳革命主張，将沒收來的糧食和衣物分給窮苦百姓。這是陝甘遊擊隊攻占的第一座縣城，擴大了影響，也使部隊獲得了大量給養。戰後，紅軍遊擊隊根據中共陝西省委訓示，進抵栒邑馬家堡，将部隊分編為第3、第5支隊，由劉志丹、閻紅彥分别率領，于西蘭公路之永壽、乾縣和三原一帶開展遊擊戰争，紅軍得到擴大。
5月，國民黨軍調集重兵分3路對陝甘遊擊隊進行“進剿”。陝甘遊擊隊召開隊委會分析敵情，認為國民黨軍第86師第511團駐守中部、宜君、洛川各縣，戰鬥力較弱，且距離其統治中心地區都遠。該地又是山區，紅軍遊擊隊在群衆中有一定的影響，遂決定向此處國民軍發起攻擊。5月15日夜，陝甘遊擊隊在劉志丹統一指揮下，奔襲馬欄鎮，消滅國民黨軍2個連及民團一部，17日又連續殲滅國民黨軍2個連和焦家坪、五裡鎮等地民團共500餘人。國民黨第17路軍特務團跟蹤追擊，和國民黨軍第511團殘部對陝甘遊擊隊形成夾擊之勢。紅軍跳出敵人包圍圈。30日，紅軍遊擊隊進至牛武鎮。乘國民黨軍第86師1個營剛剛進至英旺鎮，立足未穩之機，于31日上午奔襲該敵，一舉将其全殲，繳槍300餘支，彈藥2萬餘發。陝甘遊擊隊轉戰于鄜縣(今富縣)、洛川、中部、宜君等地，經過半個月的艱苦轉戰，進行大小戰鬥9次，8次獲勝，殲敵1400餘人，繳槍1200餘支和大批軍用物資。國民黨軍轉人防守，敵第17路軍警衛團退守原防。陝甘遊擊隊粉碎了敵人的“進剿”，部隊迅速發展到1500餘人。