新四軍是抗戰中我軍第二支主力軍隊，将分散在南方多省的遊擊隊整合相當不容易，有的遊擊隊拒絕整編，甚至殺害派去的幹部。
紅軍主力長征後，在南方各省分布着衆多遊擊隊，有的遊擊隊是原來的小根據地演變，有的遊擊隊是留守人員建立，還有的遊擊隊是紅軍長征過程中留下的部隊組建。到新四軍改編時，南方地區至少還有16支紅軍遊擊隊。
1、贛粵邊遊擊區：上司人項英、陳毅，300餘人。
2、閩贛邊遊擊區：上司人鐘民（又名鐘得勝，1954年去世）、彭勝标（少将）。汀瑞遊擊隊，300多人。
3、閩西遊擊區：上司人陳潭秋（犧牲）、張鼎丞、鄧子恢、譚震林，1300人。
4、閩粵邊遊擊區：黃會聰（1936年病逝）、何鳴（1938年被處決）、盧勝（中将）、王勝（少将），300餘人。
5、皖浙贛邊遊擊區：關英（1937年犧牲）、唐在剛（1935年犧牲），300多人。
6、浙南遊擊區：劉英（1942年犧牲）、粟裕。1936年約1600人，1937年上半年尚有約400人。
7、閩北遊擊區：黃道（1939年被特務暗殺）、吳先喜（1937年犧牲）、師長黃立貴（1937年犧牲）。1936年底，3000餘人。1937年，800餘人。
8、閩東遊擊區：葉飛（上将），1937年底，紅軍獨立師發展到1300餘人。
9、湘鄂贛邊遊擊區：陳壽昌（1935年犧牲）、徐彥剛（1936年犧牲）、傅秋濤（上将）。這支紅軍遊擊隊有近1000人。
10、湘贛邊遊擊區：彭輝明（犧牲）、譚餘保（湖南省副省長）、曾開福（1937年叛變）。紅軍遊擊隊有400多人。
11、湘南遊擊區：彭林昌（犧牲），蔡會文（犧牲）、周裡（湖南省副省長）、遊世雄。兩支遊擊隊，共300餘人。
12、鄂豫皖邊遊擊區：高敬亭（1939年被處決）、羅成雲（犧牲）、方永樂（犧牲）。這支遊擊隊人數最多，有2000多人。
13、鄂豫邊遊擊區：張星江（犧牲）、王國華（犧牲）、周駿鳴（水利部副部長）。1938年初，1300餘人。
14、瓊崖遊擊區：馮白駒（廣東省副省長），300餘人。
15、贛東北遊擊隊：楊文瀚，方志敏紅10軍團餘部。200多人。
16、贛北遊擊隊：劉維泗，也是紅十軍團剩餘人員。300多人。
以上這些遊擊隊共計有1萬多人，分散在南方各個省份。在新四軍成立時，這些遊擊隊改編過程分為三種情況。
第一種，改編過程順利
項英和陳毅上司的贛粵邊遊擊區是敵人圍剿的重點，國軍 46 師多次發動清剿。1936年西安事變後，敵人莫名其妙地突然停止了進攻。項英遣人去大庾縣城搞來幾張最新的報紙，了解到最新的國内情況。他和陳毅、楊尚奎、陳丕顯等人交換意見後，果斷提出了開展抗日救亡宣傳的主張。
抗戰爆發後，項英與陳毅主動和國民黨當局取得聯系，進行談判。與中央取得聯系後，他們又負責聯系各地遊擊隊，改編新四軍。
此外，閩北遊擊區黃道、浙南遊擊區粟裕、閩西遊擊區張鼎丞、鄧子恢、譚震林等多支遊擊隊的上司人也從西安事變中獲得消息，主動聯系上級組織，并同當地圍剿的國軍談判聯合抗日。
鄂豫皖邊遊擊區高敬亭、鄂豫邊遊擊區周駿鳴分别派人到北平尋找上級組織，後來和延安取得了聯系。瓊崖遊擊區馮白駒通過香港，也與上級取得聯系。
還有一些遊擊隊能夠接受上級上司，順利得到改編。
例如閩贛邊遊擊區，1937年10月，陳丕顯代表中央分局前來聯系，該遊擊隊接受上司，進行了改編。
皖浙贛邊遊擊區接到中共中央分局信件後，陸續下山集中整訓。在改編過程中，贛粵邊特委始終保持警惕，堅持獨立地靠山近水紮營，并同國軍部隊保持距離。改編過程中沒有遭受損失。
第二種，改編中遭受損失
改編中，有的遊擊隊認為國共合作，輕信了敵人，遭到損失。
閩中劉突軍和楊采衡上司的一支遊擊隊，有200多人，被國民黨改編為第80師獨立大隊。改編後，國民黨要求該部隊開進泉州城。進城後，大隊長劉突軍被暗殺，遊擊隊被包圍繳械。後來經過黨組織鬥争，國民黨當局被迫歸還武器。1938年5月，楊采衡（漳州軍分區副司令員）帶領100名骨幹北上皖南，編為新四軍特務營二連。
1936年冬，閩粵邊遊擊區上司人黃會聰病逝。繼任的特委代理書記何鳴在改編中失去警惕，1937年7月，他帶領紅3團開赴漳浦縣城集中。7月16日，國軍157師将紅3團包圍，近千名紅軍被迫繳械。當晚，副大隊長盧勝、參謀長王勝率部隊骨幹潛出城外，重建紅3團。這次事件使閩粵邊遊擊隊損失慘重。1938年2月，盧勝率領剩餘的400餘人加入新四軍。
這次事件中，何鳴本人被157師扣留。1938年，他與黨組織取得聯系，傳回紅軍遊擊隊。1939年6月，新四軍軍法處審判認為何鳴對紅3團被繳械事件負全責，将他槍斃。1950年，何鳴被追認為革命烈士。
第三種，拒絕改編，最終完全損失
改編過程中，也有一些紅軍遊擊隊不相信派來的同志，不相信聯合抗日，改編過程充滿了驚險。
湘贛臨時省委書記譚餘保擔任湘贛遊擊隊政委。1937年初，該遊擊隊司令員曾開福被敵人的美人計誘惑，跟随女特務淩燕投敵。譚餘保得到消息後調整部署，但一些紅軍遊擊隊的秘密聯絡點、交通站遭受損失。
1937年10月，湘南遊擊1支隊支隊長曹樹良上山傳達遊擊隊合作工作，譚餘保因為不久前曾開福投敵事件，将自己同志殺掉。1937年11月中旬，陳毅親自上山，又被譚餘保抓了起來，綁了4天，差點被殺害。後來譚餘保派人下山察看情況後，才相信了聯合抗戰政策，他向陳毅誠懇道歉，下山接受改編。
還有兩支遊擊隊完全拒絕改編，殺害前來聯絡的同志，頑固堅持同國民黨作戰到底。
第一支贛東北遊擊大隊，原本是方志敏的部隊，由閩浙贛省委書記關英上司。3年遊擊戰中，軍區司令員唐在剛戰死，軍區參謀長鄒琦被俘犧牲，關英也與部隊失散，隻身突出重圍。在多名上司犧牲之後，宣傳部長楊文翰成為了遊擊隊的上司人。到1937年，部隊已經發展到500人，有步槍200餘支，有機槍一挺。
1937年9月，當地縣委便派員上山，傳達國共合作抗日的消息，楊文翰将兩位同志槍斃。不久，第二次、第三次派去聯絡的同志，又被他槍斃。第四次，上級派這支部隊的老上司關英去聯絡，又被他槍斃。
第二支是贛北遊擊隊，上司人是劉維泗。1937年9月下旬，紅16師政委明安樓和鄂東南特委書記林美津到達贛北岷山，向劉維泗傳達《抗日救國十大綱領》等檔案。劉維泗認為國共兩黨之仇不共戴天，拒絕接受改編指令，将兩人殺害。
根據國民政府統計表，新四軍成立前南方諸省遊擊隊人數為16400人，槍9260支。經過1937年8月至1938年5月集結，改編為新四軍的人數隻有10300人，槍6200支（注：瓊崖遊擊隊因國民黨阻撓，未能參加改編）。
紅軍遊擊隊改編中遭受了各種困難和損失，有的部隊被國民黨繳械和遣散，2支拒絕改編的遊擊隊最終脫離了上級黨組織上司。
2支拒絕改編的遊擊隊此後遭到國民黨軍隊圍剿，在抗戰中潰滅。1943年，楊文翰被國民黨抓捕殺害。