抗戰(zhàn)爆發(fā)后，改編為新四軍的紅軍挺進(jìn)師指戰(zhàn)員。

為宣傳中國(guó)共產(chǎn)黨的抗日主張，反擊國(guó)民黨“紅軍搗亂抗日后方”的誣陷，調(diào)動(dòng)和牽制國(guó)民黨軍隊(duì)，緩解中央蘇區(qū)反“圍剿”的壓力，1934年6月，中共中央革命軍事委員會(huì)命令紅七軍團(tuán)改編為“中國(guó)工農(nóng)紅軍北上抗日先遣隊(duì)”(簡(jiǎn)稱抗日先遣隊(duì))。11月4日，紅七軍團(tuán)與紅十軍合編為紅軍第十軍團(tuán)。紅七軍團(tuán)改編為第十九師，紅十軍改編為第二十師。根據(jù)中革軍委的決定：閩浙贛省蘇維埃主席方志敏兼任閩浙贛軍區(qū)司令員，粟裕任軍區(qū)參謀長(zhǎng)(后改任紅十軍團(tuán)參謀長(zhǎng))；中共閩浙贛省委、省軍區(qū)和紅十軍團(tuán)，統(tǒng)受中共中央在中央蘇區(qū)設(shè)立的中央分局和中央軍區(qū)的直接領(lǐng)導(dǎo)與指揮。

1935年1月10日，紅十軍團(tuán)日夜兼程，開始了返回閩浙贛蘇區(qū)的軍事行動(dòng)。為了阻撓紅軍的行動(dòng)，蔣介石集中了近20萬兵力，妄圖一舉撲滅紅十軍團(tuán)。在這種形勢(shì)下，方志敏、粟裕率領(lǐng)紅十軍團(tuán)先頭部隊(duì)，于15日進(jìn)至靠近閩浙贛蘇區(qū)的港頭一帶地區(qū)。16日，軍團(tuán)領(lǐng)導(dǎo)決定，先頭部隊(duì)立即突破敵封鎖線，進(jìn)入閩浙贛蘇區(qū)。鑒于主力部隊(duì)仍在后面，方志敏決定自己留下來隨軍團(tuán)主力行動(dòng)，命粟裕率先頭部隊(duì)先行轉(zhuǎn)移。當(dāng)晚，粟裕等率先頭部隊(duì)，順利突破國(guó)民黨軍的封鎖線，到達(dá)閩浙贛蘇區(qū)的大坪、小坪、黃石田地區(qū)，等待軍團(tuán)主力。

在紅十軍團(tuán)先頭部隊(duì)突圍期間，國(guó)民黨部隊(duì)加緊了對(duì)紅十軍團(tuán)主力的封鎖和包圍，并組成多路“搜剿”隊(duì)，縱橫穿插于包圍圈內(nèi)，將紅十軍團(tuán)主力分割成數(shù)段。紅軍廣大指戰(zhàn)員不畏強(qiáng)敵，浴血奮戰(zhàn)，不斷殺傷敵人，但終因眾寡懸殊、彈盡糧絕，只有少數(shù)人員突出重圍，至1月下旬大部分壯烈犧牲，方志敏在懷玉山東麓隴首村被捕。

粟裕率領(lǐng)先頭部隊(duì)400多人突圍出來后，無時(shí)無刻不在掛念方志敏和大部隊(duì)。但一個(gè)星期以后，等來的卻是方志敏被捕的消息。

粟裕根據(jù)中共蘇區(qū)中央分局和中央軍區(qū)的指示，立即率領(lǐng)突圍回到閩浙贛蘇區(qū)的紅十軍團(tuán)先頭部隊(duì)，同紅三十師一個(gè)團(tuán)組成挺進(jìn)師，粟裕任師長(zhǎng)，劉英任政治委員，于2月27日由上饒靈山地區(qū)出發(fā)，向閩浙邊地區(qū)轉(zhuǎn)移，開展游擊戰(zhàn)爭(zhēng)，創(chuàng)建根據(jù)地。經(jīng)過認(rèn)真分析研究，粟裕、劉英選中了浙西南的仙霞嶺地區(qū)。那里層巒疊嶂，林深路曲，既便于隱蔽，也便于機(jī)動(dòng)。

蔣介石得知挺進(jìn)師進(jìn)入浙江后，糾集32個(gè)正規(guī)團(tuán)、8個(gè)保安團(tuán)共7萬多人的兵力進(jìn)行“圍剿”。粟裕靈活機(jī)動(dòng)的戰(zhàn)略戰(zhàn)術(shù)，弄得敵人暈頭轉(zhuǎn)向。盡管敵人多我紅軍游擊隊(duì)幾十倍，卻無法將我軍消滅；而我軍則抓住戰(zhàn)機(jī)，一次又一次地打擊敵人。挺進(jìn)師鎮(zhèn)壓了一批罪大惡極的貪官污吏和土豪劣紳，建立各種群眾組織，發(fā)展紅軍游擊隊(duì)和地方武裝。僅僅4個(gè)半月時(shí)間，隊(duì)伍發(fā)展到近千人，擴(kuò)編為5個(gè)縱隊(duì)和兩個(gè)獨(dú)立支隊(duì)。游擊根據(jù)地?cái)U(kuò)至江山、浦城、龍泉、遂昌、松陽等5個(gè)縣。

粟裕帶領(lǐng)部隊(duì)轉(zhuǎn)戰(zhàn)閩浙邊，甚至對(duì)湯恩伯的老家武義，陳誠(chéng)的老家青田，蔣介石的老家奉化也不斷“光顧”，使蔣介石極為頭疼，曾懸賞萬元，捉拿“金米”“蘇群”“余良”等“共匪”首領(lǐng)。其實(shí)這些名字都是粟裕一個(gè)人的化名。

到1936年12月，挺進(jìn)師在浙南地區(qū)再次發(fā)展到一千五六百人，活動(dòng)范圍擴(kuò)大到30幾個(gè)縣境。1936年底到1937年春，國(guó)民黨閩浙贛皖4省邊區(qū)主任劉建緒，調(diào)集主力部隊(duì)和地方保安團(tuán)43個(gè)團(tuán)的兵力“圍剿”挺進(jìn)師，始終無法撲滅這股革命力量。

1937年抗戰(zhàn)全面爆發(fā)后，國(guó)共再次合作抗日。國(guó)民黨遂昌縣政府就派來了代表，請(qǐng)游擊隊(duì)下山進(jìn)城。經(jīng)過一番談判，粟裕率部下山。當(dāng)紅軍隊(duì)伍整整齊齊地出現(xiàn)在縣城的時(shí)候，全城扶老攜幼，爭(zhēng)相觀看。隊(duì)伍經(jīng)過杭州時(shí)，浙江省省長(zhǎng)黃紹竑宴請(qǐng)粟裕等紅軍將領(lǐng)，黃紹竑打量了粟裕半天，仍然懷疑地問：“你就是粟裕?”粟裕回答道：“黃省長(zhǎng)一定以為我是青面獠牙吧?”“那倒不是。”黃紹竑說，“沒想到你是這么一個(gè)瘦弱的書生。你這個(gè)人實(shí)在不可思議。我打你時(shí)，年復(fù)一年，東征西討，不知費(fèi)了多少力氣，連你的影子都沒有見到。可是和談一開，城里鄉(xiāng)下到處都是你的人。”