1948年7月，中国人民解放军华东军区将鲁中南军区各分区基干团组成华东野战军鲁中南纵队，鲁中南军区司令员兼政治委员傅秋涛兼任纵队司令员和政治委员，归山东兵团指挥。

1948年9月，鲁中南纵队主力部队参加济南战役，4个团加入攻城西集团，协同兄弟部队攻克商埠。4个团加入打援集团，于官桥至滕州市间打援，保障了济南战役的胜利。10月，鲁中南纵队所属部队进行整编，钱钧任司令员，张雄任政治委员，所属部队统一改编为第46、第47师，共6个团1.4万人。属华东野战军山东兵团建制。

在淮海战役中，鲁中南纵队先在郯城县歼灭山东省保安旅3000余人；继而在徐州市东南、徐州南会同兄弟部队阻击徐州国民党军东援黄百韬兵团、南援黄维兵团以及追击合围杜聿明集团的作战，先后歼灭国民党军2万余人。

1949年2月，根据中共中央军委关于统一全军编制和部队番号的命令，鲁中南纵队与济南起义的中国国民党吴化文部合编为中国人民解放军第35军，属第三野战军第7兵团建制。吴化文任军长，何克希任政治委员，杨友伯、胡大荣任副军长，张雄任副政治委员，孔繁彬任政治部主任。