张经武来到山东后，将延安派来的军政干部迅速派往山东各地，进行宣传发动，使山东各地党组织相继得到恢复和发展，共产党员的人数发展到5.1万余人。
在各级党组织的领导下，山东各地的游击队英勇地开展对敌斗争。到1938年底，仅游击队作战就击毙了日军松井大将、山村中将等以下日伪军3300余人，俘虏日伪军180余人，击落敌机两架，炸毁敌汽车68辆、火车头17个，恢复县城10余座，并建立了蓬莱、黄县、掖县等抗日民主政权。
为发展抗日的大好形势，更好地领导山东和邻近各省的抗日斗争，1938年12月上旬，中共中央指示，将鲁苏豫皖边区省委改为中共中央山东分局，由郭洪涛、张经武、黎玉等组成，郭洪涛任书记，并决定由张经武负责改编各路游击队、组建“八路军山东纵队”的工作。12月27日，整军和改编工作结束，正式成立“八路军山东纵队”，张经武任总指挥，黎玉任政治委员，王彬任参谋长，江华任政治部主任，下辖10个支队、3个团，共2.4万余人。从此，山东人民起义武装由若干分散的游击队成为在战略上统一指挥的游击兵团。
山东纵队成立后，张经武、黎玉等以武装斗争为依托，进一步发动群众，建立抗日民主政权，扩大抗日根据地，扩充部队，开展敌后游击战争，同时进行了反击国民党顽固派的斗争。