1938年2月15日，毛泽东即致电项英、陈毅：“力争苏浙皖边发展游击战。但在目前最有利于发展地区，还在江苏境内的茅山山脉，即以溧阳、溧水地区为中心，向着南京、镇江、丹阳、金坛、宜兴、长兴、广德线上之敌作战，必能建立根据地。”4月24日，毛泽东致电项英，指示新四军“主力开泾县、南陵一带，先派支队去溧水一带侦察”，“惟须派电台及一有军事知识之人随去。”根据中共中央的指示精神，新四军组建先遣支队于4月28日从皖南出发，深入苏南敌后进行战略侦察。先遣支队由第一、第二、第三支队抽调团以下干部和侦察连组成，第二支队副司令粟裕担任司令员，第一支队第一团政治处主任钟期光为政治部主任。先遣支队进入日军已占领城镇的苏南沦陷区，分三个组对南京、常州、镇江方向进行武装侦察，调查了解沦陷区的状况，搜集敌人情报。先遣支队所到之处，大力开展民运工作和统战工作，揭露日军的侵华罪行，宣讲抗战国策和共产党、新四军的抗日主张。各路侦察人员还测绘地图，调查苏南的风土习俗，为主力部队挺进茅山作了必要的准备。6月11日，国民党第三战区司令长官命令新四军派兵一部挺进南京、镇江之间破坏京沪铁路，先遣支队于6月15日完成破路任务后，为进一步扩大战果，于6月17日在镇江西南之韦岗伏击日军车队，取得新四军在江南的首战胜利。先遣支队完成任务后，于6月下旬撤销，指战员各回原部归建。

　　1938年9月，中共中央在延安召开了六届六中全会，会议强调抗日相持阶段即将到来，敌后游击战争将要变成抗战的主要形式。共产党的工作重点要放在战区和敌后，独立自主地放手组织人民抗日武装，建立和巩固更多的抗日根据地，缩小敌之占领区，配合正面战场作战。会议确定了大力巩固华北、发展华中的战略方针。会议认为“华中为我最重要的生命线”，于是“发展华中”不仅是新四军的战斗任务，而且成为共产党、八路军、新四军共同的战略任务。为此，中共中央做出了一系列重大部署：撤销中共中央长江局，成立中共中央南方局和中共中央中原局；派周恩来视察皖南，批准叶挺过江整理江北部队，派刘少奇进入华中，派黄克诚率八路军主力一部南下华中，令新四军江南部队主力北渡，并陆续从延安、中共中央北方局、八路军总部抽调大批干部支援华中等。
　　1939年2月，中共中央军委副主席周恩来偕叶挺到达云岭军部，对新四军的发展方向，周恩来提出了三个原则：一、那个地方空虚，我们就向那个地方发展；二、那个地方危险，我们就到那个地方去创造新的活动地区；三、那个地方只有敌人伪军，友党友军较不注意没有去活动，我们就向那里发展。这样可以减少摩擦，利于统战。在云岭期间，周恩来还与新四军领导人共同商定了关于新四军的行动方针问题，由新四军“向北发展、向东作战、巩固现在阵地”的战略决策，最后概括为“向南巩固、向东作战、向北发展”的战略方针。

　　1938年春，新四军为了中国人民最根本的利益，肩负起民族的希望，不畏艰险，冲破重重限制和刁难，以最快的速度集中起来，并及时地深入到东线敌后开展抗日游击战争，从日伪军手中收复失地，迅速地创立敌后抗日根据地。
　　新四军是由坚持南方三年游击战争的红军游击队组建的，他们擅长于山地游击战，而没有或缺乏平原水网地区游击战争的经验，但随着八路军在华北地区的抗战实践，在平原地区通过开展抗日游击战争并建立抗日根据地的问题已经逐步解决，并取得了一定的经验。1938年5月4日，毛泽东关于新四军应进行敌后游击战争致项英电，电文指出：“在敌后进行游击战争虽有困难，但比在敌前同友军一道并受其指挥反会要好些，方便些，放手些。”“在侦探部队出去若干天之后，主力就可准备跟进，在广德、苏州、镇江、南京、芜湖五区之间广大地区创造根据地，发动民众的抗日斗争，组织民众武装，发展新的游击队，是完全有希望的。在茅山根据地大体建立起来后，还应准备分兵一部进入苏州、镇江、吴淞三角地区去，再分一部渡江进入江北地区。”这是中共中央及其领导人对新四军创建敌后抗日民主根据地、开展游击战争的最早的纲领性指示，史称第一个“五四”指示。

　　新四军创建时下辖四个支队、十个团、一个特务营，共1.03万余人，枪6200余支。新四军第一支队司令员陈毅，副司令员傅秋涛，参谋长胡发坚，政治部主任刘炎，下辖第一、二团；新四军第二支队司令员张鼎丞，副司令员粟裕，参谋长罗忠毅，政治部主任王集成，下辖第三、第四团；新四军第三支队司令员由新四军参谋长张云逸兼任，副司令员谭震林，参谋长赵凌波，政治部主任胡荣，下辖第五、第六团；新四军第四支队司令员高敬亭，参谋长林维先，政治部主任萧望东，下辖第七、第八、第九团、手枪团和直属队。
　　军部机关和直属队的编制及干部配备的情况是：司令部参谋处处长赖传珠，秘书处秘书长李一氓．副官处处长黄序周，军需处处长叶辅平，军医处处长沈其震，兵站处处长张元寿，军法处处长李一氓，政治部秘书长黄诚，组织部部长李子芳，宣传教育部部长袁国平兼，民众运动工作部部长邓子恢兼，敌军工作部部长林植夫，后方留守处主任罗湘涛，政治处主任吉洛。新四军创建之初，干部严重缺乏。军部移驻南昌后，便调集干部，创办了新四军的第一个教育机构“新四军教导大队”，军部迁移皖南后，8月22日扩编为“新四军教导总队”。学员来自参加南方三年游击战争的红军战士，后又从江南沦陷区参军的抗日青年中选取了几批学员。教导总队总队长由新四军副参谋长周子昆兼任，政委是袁国平。
　　为了从事文化艺术和民运工作，1938年1月，新四军在南昌成立了战地服务团，团长朱克靖，副团长先后为吴仲超、白丁（徐平羽）、谢云晖。1939年3月30日，新四军第一支队司令员陈毅以《十年》为题赋诗，讴歌从国民革命军第四军、中国工农红军第四军到新四军的光荣战斗历程。这首诗后经副军长项英、政治部主任袁国平等集体讨论修改，由新四军教导大队文化队队长、音乐家何士德作曲，定名为《新四军军歌》，并于1939年7月1日庆祝中国共产党诞生18周年的晚会上首次正式演唱。1941年皖南事变后，战地服务团撤销，部分团员改建为第一师战地服务团。新四军战地服务团为新四军的文化建设和民运工作做出了贡献，并为部队和地方输送了400余名干部。
　　新四军创建之初，人数不多，装备落后，但他们是经历南方三年游击战争的磨炼和考验而保存下来的精华，是忠于祖国、忠于人民、忠于共产主义事业的优秀儿女，在中国共产党的领导下，在抗日战争的烽火中，新四军成为华中地区坚持敌后抗战的中流砥柱。

　　1936年1月，中共鄂豫边省委组建了一支红军游击队，在信阳、确山县境活动。同年春省委书记张星江牺牲后，游击队分散活动于信阳、唐河、驻马店地区。9月，王国华继任省委书记，领导游击队在确山、信阳一带活动。全面抗日战争爆发后，红军游击队发展到1000余人。
　　南方红军游击队在三年游击战争中，在被分割、被封锁的环境中各自独立地与数十倍于己的敌人进行长期的殊死搏斗，战胜了难以想象的困难，经受了严峻的考验，取得了南方三年游击战争的胜利，并为新四军的组建与发展准备了良好的基础。

　　1934年11月，在湘南坚持斗争的红军独立第4团和游击队，在国民党军的围剿下，受到极其严重损失，中国共产党湘南特别委员会书记彭林昌牺牲。不久，又组织了湘南红军独立大队，在宜章的骑田岭一带山区坚持游击活动。与此同时，有一支红军游击队在耒阳、安仁县境内坚持活动。1938年初，上述两支红军游击队集中时，共有300余人。

　　1934年8月，红军第六军团离开湘赣革命根据地进行长征后，留在根据地坚持斗争的地方武装和游击队共5000余人，在国民党军的进攻下，受到严重损失，湘赣军区司令员彭辉明牺牲，余部分散在罗霄山脉之武功山、九陇山山区活动。1935年7月，中共湘赣临时省委书记谭余保将失散的部队收集起来，编成游击支队，并成立了以谭余保为主席的军政委员会和以曾开福为司令、谭余保兼政治委员的游击司令部。此后，红军游击队分别在湖南省的酃[líng]县、茶陵、攸县、醴陵和江西省的萍乡、宜春、安福、永新、宁冈、莲花等县境内及吉安县之官田附近坚持游击战争，先后取得攻克安福、油田、官田等战斗的胜利。至1937年11月，红军游击队尚保存近400人。

　　1934年11月，红军第十六师1100余人，由中共湘鄂赣省委书记陈寿昌、湘鄂赣军区司令员徐彦刚等指挥，在崇阳、修水、平江等县境内坚持游击战争，陈寿昌不幸牺牲。至1935年5月，先后取得大源、高枧、虹桥、三界尖等战斗的胜利，红十六师发展到5000余人，之后，红十六师在国民党军反复进攻下，受到很大损失，徐彦刚牺牲，余部1000余人由继任省委书记傅秋涛等率领，继续在湘鄂赣边地区坚持游击战争，先后攻克汨罗、文家市、宜春等城镇，保存了黄金洞等几块游击根据地。至1937年8月，红军游击队尚存约900人。

　　1935年2月，由浙皖赣边突围回到闽浙赣革命根据地的红军第十军团一部，组成中国工农红军挺进师，师长粟裕，政治委员刘英，共500余人。接着，挺进师由闽浙赣革命根据地出发，于3月下旬进到闽浙边地区的江山、浦城、龙泉、遂昌、松阳(今属遂昌)等县边界地区，开展游击活动。至9月，开辟了浙西南游击区，挺进师发展到近1000人。9月中旬，国民党军向浙西南游击区进攻，挺进师以一部兵力在原地坚持斗争，主力转至闽浙边地区打击国民党军。1936年6月，挺进师乘国民党军他调之机，广泛进击。至年底，活动区域扩展到浙南之衢州、处州(今丽水)、温州、台州(今临海)等30余县，部队发展到约1600人。1937年上半年，挺进师在国民党军的进攻下，受到较大损失，至9月，部队尚有约400人。