1949年2月，為便于指揮大規模兵團渡江南下作戰，華東野戰軍被改編為了第三野戰軍，同時在軍級作戰機關之上組建了四大兵團（作戰番号為第7、第8、第9、第10兵團）。當時按照作戰計劃，第三野戰軍和華東軍區總部機關均要跟随部隊南下，這樣一來為加強山東地區的軍隊建設，我軍重建了山東軍區。那麼，在山東軍區重建之後，最初擔任司令員和副司令員的都是誰呢？讓我們接着往下看。
從軍區曆史沿革來看，山東軍區成立于抗日戰争時期，1942年8月八路軍山東縱隊改稱八路軍山東軍區。不過，到了1943年3月，為了統一指揮山東地區的抗日武裝力量，八路軍山東軍區與八路軍第115師合并，成立了新的八路軍山東軍區。到了解放戰争時期，1947年1月随着山東野戰軍和華中野戰軍合并為華東野戰軍，山東軍區也與華中軍區合并為了華東軍區。到了1949年2月，因為華東軍區總部機關要渡江南下，山東軍區才得以重建。
當時，在山東軍區重建之後，擔任軍區司令員的是張雲逸。張雲逸是今海南文昌人，很早就參加了革命，先後經曆過黃花崗起義、辛亥革命、護國戰争和北伐戰争。在紅軍長征時期，張雲逸曾擔任過紅8軍團參謀長、軍委副參謀長兼作戰局局長等職務。全面抗日戰争爆發之後，張雲逸又曆任新四軍參謀長、新四軍江北指揮部指揮員、新四軍副軍長兼第2師師長等中職務。
在解放戰争時期，張雲逸組織上司了新四軍北撤工作，後來一直在華東地區工作，曾擔任過華東軍區副司令員、山東軍區司令員、華東軍政大學校長，在指揮軍區地方武裝配合主力部隊作戰，以及動員人力物力支援前線戰事等方面有很大成就，為華東解放戰争的勝利作出了重要貢獻。在1955年，張雲逸被授予了大将軍銜。
而在山東軍區重建之後，擔任軍區副司令員的是許世友。許世友是今河南新縣人，他曾在紅四方面軍參加了紅軍長征，曾擔任過紅四方面軍第4軍軍長一職。全面抗日戰争爆發之後，許世友最初擔任過抗日軍政大學校務部副部長、八路軍第129師第386旅副旅長，後來被派到山東地區工作，曆任山東縱隊第3旅旅長、山東縱隊參謀長，率領部隊開辟建立了膠東根據地，并出任膠東軍區司令員。
到了解放戰争時期，許世友留在山東地區工作，又先後擔任過華東野戰軍第9縱隊司令員、華東野戰軍山東兵團司令員，參加了萊蕪戰役、孟良崮戰役、膠東保衛戰和濟南戰役等重要戰役。1949年2月，山東軍區重建之後，許世友被任命為軍區副司令員，不久又接替張雲逸擔任軍區司令員。在1955年，當時擔任南京軍區司令員的許世友，被授予了上将軍銜。