1938年春，根据国共两党关于编组
新四军的协议，原活动在
南平市、
宁德市等地的红军游击队，改编为新四军第3支队。军参谋长张云逸兼任支队司令员（后谭震林），谭震林任副司令员，
赵凌波任参谋长，
胡荣任政治部主任。下辖第5、第6团。全支队共2100余人。
1938年3月，第3支队到达安徽省歙县岩寺附近地区，进行短期整训。7月，为策应第1、第2支队挺进
苏南，保卫军部
领导机关及后方单位，第6团一部进至皖南抗日前线，转战于
宣城市（今
宣州区）、芜湖地区。10月，支队率第5团及第6团一部受命担任
青弋江阵地的防御任务，取得清水潭、马家园等战斗的胜利。12月，第3支队奉命调
铜陵市、
繁昌区沿江地区，配合国民党军抗击日军的进攻，坚持皖南抗战。此时，第6团调赴苏南，划归第1支队建制。
1939年，第3支队与第1支队第1团和第2支队第3团协同作战，在皖南铜陵、繁昌地区作战200余次，以5次繁昌保卫战为最激烈。其中，11月第4次保卫繁昌，激战16天，击退日伪军3000余人的猛烈进攻，歼其450余人。
1940年4月，日伪军1万余人对
皖南进行大“扫荡”，第3支队在繁昌前线阻击日军获胜。7月，第5团一部挺进
皖中地区，与当地游击队合编为第3支队挺进闭，后在
无为市地区开展抗日斗争。10月，日伪军1万余人再次“扫荡”皖南，直扑泾县云岭新四军军部，第3支队配合第1、第3团及军部直属队英勇反击，挫败了日伪军的“扫荡”。
1941年1月，第3支队在
中国国民党顽固派制造的
皖南事变中受到严重损失。余部突围到达皖中，后与挺进团一起，编入
新四军第七师。