华东野战军第八纵队与新四军老部队并无太大关系，他是在山东土生土长的，是以山东抗日起义参与人员为班底组成的优秀队伍。山东军区鲁中区域是华野八纵前身部队抗战的主要战场。
华野八纵有两支重要来源，其中一支是八路军一二九师津浦支队，全面抗战爆发后全师转入敌后作战，1937年年底，以师教导团和留守处的部分学员组成挺进支队，由“双红一”出身的七七二团参谋长孙继先担任支队长，支队率先到达冀南地区。
随着一二九师主力部队的到达冀南，陈再道以挺进支队为主体建立一二九师津浦支队，孙继先仍担任支队长，全支队大约有四百余人，其中的五连是红军连，参加了夜袭阳明堡机场的战斗，能力很强。津浦支队成立后，在孙继先的带领下开赴山东，经过大半年的发展，全支队共有一千余人，下辖三个营和一个骑兵连。
1939年底，津浦支队脱离一二九师，转入山东纵队建制。津浦支队与老山东纵队第二支队合并为新的第二支队，原津浦支队支队长孙继先、政委潘寿才担任新第二支队军政主官。此后，津浦支队进行了分兵，主力被编入山东纵队第二旅第四团，孙继先担任二旅旅长。支队另外一个营和其他部队被编为山东纵队特务二团，后来这支部队去了鲁南，并发展成为华东野战军第三纵队的主力团。
第二旅第四团后改编为鲁中军区第四团，抗战胜利后被编为山东军区第四师第十团，是师主力团，战斗力很强。这支部队的来源是八路军一二九师，红军时期的主体是红四方面军，这在山东军区的部队中是很少见的。
华野八纵另外一个来源主体是山东徂徕山、黑铁山、天福山、鲁东等几次抗日起义武装起义的部队，由于山东是七七事变后华北日军较早侵略的省份，在敌后我党也组织了多次起义，山东纵队部队重要来源也是这些起义编成的。
徂徕山起义的部队成立了八路军山东抗日游击第四支队，洪涛和黎玉分别担任司令员和政委，此后周边几支起义部队迅速和第四支队会合，包括有鲁东抗日游击队第七、第八支队和山东人民抗日救国军第五军。这些部队和第四支队一起承担起开辟鲁中根据地的任务。
1938年6月，救国军第五军主力合并进第四支队，廖容标担任司令员，他是出身红一方面军的开国中将，在三军团和一军团都任职过，红军时期一直是营团级干部，职位虽然不高，但确实是根正苗红。
12月，山东抗日游击第四支队改编为山东纵队第四支队，廖容标和林浩分别担任军政主官，林浩是山东本地干部，长期在胶东和许世友合作，因他和黎玉在解放战争末期被错误批判，最后被授予开国少将，笔者认为军衔稍低。
鲁东抗日游击队第八支队改编为山东纵队第八支队，该支队和原抗日游击队第二、第九支队合并为山东纵队第一支队，马保山和周赤萍担任军政主官，其中马保山是山东本地干部，周赤萍红军时期也在三军团和一军团任职过，也是团级干部，根正苗红。
而前文提到的津浦支队主力和老山东纵队第二支队合并成为新的山东纵队第二支队，孙继先担任支队长。在山东鲁中军区活动的主要是山东纵队第一、二、四这三个支队。
1940-1941年，山东根据地又进行了几次整军，第一支队和第四支队各两个营合编为山东纵队第一旅，下辖四个团，旅长由山东纵队副指挥王建安担任，当王必成在红四方面军八十八师任营级干部的时候，王建安就是师政委了，红军时期最高做到红四军政委，军政兼优。第二支队和第九支队合编为第二旅，旅长孙继先，下辖三个团。后第一旅两个团和第四支队一个团加上其他部队合编为第四旅，旅长廖荣标。
1942年8月，鲁中军区成立，王建安和罗舜初分任司令员和政委，胡奇才和周赤萍担任参谋长和政治部主任。这套班子配置很强，王建安、胡奇才都是四方面军著名将领；罗舜初和周赤萍出身一方面军。鲁中军区下辖三个军分区。
此后，山东实行“一元化”领导，罗帅成为山东军区实际上的军政领导人，黎玉担任副政委，主力部队编为十三个团，这些团构成山东军区主力框架。其中鲁中军区直接管辖一、二、四这三个团，此外还建立了五个军分区。1943年后又陆陆续续建立了九、十、十一、十二团。
1945年8月，山东军区进行了一次大整编，鲁中军区部队成立了第三和第四师，其中一团、二团和几个营合编为第三师，师长由王建安兼任；四团、十团和几个营合编为第四师，军政首长是廖荣标和王一平，此外还成立了四个警备旅。抗战期间，鲁中军区的实力在山东军区中是非常强大的。
抗战后，罗帅抽调山东军区大部分主力部队开赴东北，鲁南军区机关一部、第三师和警备三旅旅部和警备八团由军区政委罗舜初带领去了东北。同时，周赤萍、吴瑞林、胡奇才、李福泽等将领也都去了东北。此后，留在鲁中军区的多个警备旅合编为山东军区第九师，钱钧和李耀文担任军政主官。
解放战争初期，鲁中军区部队主要承担保卫津浦铁路的重任，迟滞国民党沿铁路去华北和东北的行动，后又承担保卫根据地的任务。但是作为山东军区主力师，鲁中军区部队并没有参与两淮保卫战，客观导致了守卫两淮的兵力不足。
1947年初，鲁中军区第四师、第九师和警备旅合编为华东野战军第八纵队，王建安和向明分别担任军政主官，孙继先担任副司令员。
在莱芜战役中，李仙洲被八纵俘虏，部队还歼灭了大量敌人。在孟良崮战役中，八纵先切断了整编七十四师和援军的联系，后承担主攻任务，为全歼七十四师做出了贡献。
1948年，八纵参加了洛阳战役和济南战役，都承担阻援任务，为战役胜利提供了保障。在淮海战役中，八纵参加了围歼黄百韬和杜聿明集团的战斗，歼敌约两万六千人。
1949年，八纵改编为三野二十六军，张仁初担任军长，参加了渡江战役和上海战役。八纵作为山东军区鲁南军区发展起来的队伍，大部分队伍都是由山东本地发展而来，王建安是这支部队的灵魂人物，八纵的战绩也配得上华野的主力师的称号。