華東野戰軍山東兵團橫掃膠濟鐵路線西段、中段後，略作休整，又揮師西進津浦線中段，發起1948年夏季攻勢作戰。此時華野總部率西線兵團陳唐兵團在中原野戰軍配合下，正在豫東戰場與敵人角逐。
在人民解放軍的猛烈打擊下，國民黨蔣介石已是顧此失彼、捉襟見肘。濰縣戰役後，國民黨中原、蘇北、東北戰場同時告急，蔣介石剜肉補瘡，被迫從山東抽調整編第七十五、第八十三師，分援上述戰場。這樣，山東的蔣軍進一步減少。在膠濟路全線和廣大地區已為我攻占的情況下，山東之敵僅固守津浦線濟南、徐州段及其兩側個别城鎮和青島孤城，企圖阻滞華野内外線兵團彙合，拖住華野主力，確定濟南，屏障徐州，支撐山東殘局。
在狀似“扁擔”的津浦線濟南、徐州段上，敵人設有3個綏靖區，共計7個整編師18個旅，統由徐州“剿匪總司令部”總司令顧祝同上将指揮。濟南的第二綏靖區王耀武部，守備濟南城防及濟南至大汶口段；兖州的第十綏靖區李玉堂部，守備南抵滕縣，北達南峄，東至新泰，西到濟甯地域；賈汪的第三綏靖區馮治安部，守備徐州至滕縣段。
濰縣戰役後，中共中央、毛澤東主席指令“華東野戰軍在組織西線兵團發起豫東戰役的同時，山東兵團出擊津浦路中段，逐漸消滅泰安至臨城各點守敵，進逼徐州，打通與魯西南的聯系，配合西線兵團作戰，孤立濟南，創造攻克濟南的條件。”據此，5月下旬，山東兵團除以一部配合地方武裝，監視濟南、青島之敵外，主力西進待機。顧祝同察覺華野内外線兵團作戰意圖後，急令兖州李玉堂加強濟甯、充州、汶上守備，令第四綏靖區劉汝明部守備菏澤，第一三九旅4個營守備金鄉，其餘部隊作為機動。敵第五軍抵達太康并西華東北，索我作戰。企圖先合擊華野西線兵團，爾後回師與山東兵團作戰。
華野總部于5月28日制定打擊顧敵和津浦路濟南、徐州段作戰計劃，上報中央：一是許譚應乘敵收縮未及之際，殲滅泰安守敵。在敵收縮時，則以一部控制泰安、泗水、大汶口、曲阜地區，主力相機攻占汶上、濟甯或兖州。我則于控制曹縣、定陶、成武後以一部圍攻金鄉，主力待機殲滅援敵。二是許譚于控制泰安、曲阜、泗水、大汶口等處後，主力直下鄒縣、滕縣，攻占臨城、韓莊，迫近徐州，攻占豐縣、魚台，以兩路直逼徐州之态，調動第五軍來援并殲滅之。三是在第五軍主力屯集商丘以西時，我們拟渡河，以3晚急行軍包圍成武。現敵已決定收縮，且距離太遠。乃決以4晚行程，進占成武，以騎兵團控制成武，續向曹縣搜尋。主力于3日拂曉到達成武待命。四是西線兵團不論遂行何種方案，應以監視第五軍主力為主。在該敵來援時，則尾随其後，配合此間部隊夾擊，殲敵于運動中。
中共中央軍委、毛主席随即電複:“山東兵團以執行你們第一方案為好，即第一步占領泰安、泗水、大汶口、曲阜。第二步相機攻占汶上、濟甯、兖州3點中之一點，并求得調動他點之敵增援而殲滅之。第三步相機攻占鄒縣、滕縣、臨城、韓莊。如果汶、濟、兖3點之敵難攻，而鄒、滕、臨、韓較為易攻時，亦可先攻之，或于汶、濟、兖、鄒、滕、臨、韓7點中，選擇其較易者先攻較難者後攻。總之，山東兵團任務是逐一攻占7點，準備以四五個月完成此項任務。關于西線兵團6個縱隊以殲滅第五軍為中心的部署是很好的”中共中央軍委還指出:華野外線作戰與山東兵團作戰，必須各作獨立作戰之計劃，即兩兵團隻作戰略上之配合，不要企圖作戰役之配合，以免互相牽累依賴，失去獨立部署之戰機。并強調“此點甚為重要，望你們預先計及”。
據此，許世友、譚震林決定，先從敵濟南和兖州兩綏靖區的結合部開刀，開辟泰安南北戰場，調動濟南、兖州之敵來援，在運動中求殲其有生力量，并相機奪取泰安。參戰兵力有第七、第九、第十三縱，魯中軍區警備第一、第二、第三、第四、第七團及軍區炮兵營、特務營，魯南、渤海軍區部隊，冀魯豫泰西軍分區部隊，總計45個團。以魯中部隊和第十三縱一部攻擊泰安；第十三縱一部插向泰安以北；第七縱一部插向泰安以南；渤海部隊和第九縱一部進擊濟南以東章丘、龍山鉗制敵人；魯南部隊破襲津浦線徐州、兖州段；泰西部隊在肥城一帶活動；第九縱主力位于泗水附近作為機動。
津浦路中段戰役（亦稱兖州戰役）于1948年5月29日正式打響。魯中部隊和第十三縱一部攻擊泰安城東、城南、城西南及火車站等處，守敵整編第八十四師第一五五旅第四六三團及保安第五旅一部，根據王耀武“機動作戰”指令，于30日12時在飛機、鐵甲車掩護下，北逃界首。津浦路沿線各點守敵紛紛效法，或北逃濟南，或南竄兖州、滕縣。許世友司令員當即指令各部抓住戰機，飛速向泰安南北兩面擴大戰果，追殲敵軍于逃竄途中。
在泰安以北，渤海部隊和第十三縱一部聯手進擊章丘，守敵整編第八十四師1個團逃往龍山以東，我軍跟蹤追擊，殲龍山敵一部。濟南東告急，王耀武令整編第七十三、第二師共4個旅向東反擊，第九縱馳援渤海部隊，殲敵4000人将敵壓回濟南市。第十三縱占領泰安後沿鐵路北上，肥城敵第二一一旅1個營在泰西部隊逼迫下逃往長清。第十三縱續攻界首，敵第四六三團及保第五旅一部逃往萬德。王耀武以第一五五旅主力、第二一一旅第六三三團及保第五旅一部，推進到萬德以南阻擊。在我猛烈打擊下，敵于6月2日逃到張夏。13日，第十三縱攻占張夏敵退往崮山以南。這樣，北線我軍直抵崮山、龍山一帶，從東南、東面鉗制住濟南之敵。
與此同時，插向泰安以南的第七縱和魯中部隊急起直追，橫掃逃敵。5月31日，南驿守敵整編第十二師補充團南逃大汶口歇馬亭；新泰守敵第一一二旅第三三四團先逃往泗水，次日又逃往兖州。大汶口守敵整編第八十四師補充團及保安第一團逃跑稍慢，我軍攻占大汶河南岸橋頭堡後，将其堵在北岸。敵雖拼死掙紮，但無濟于事。直到6月3日，敵才突出重圍南逃，但在大汶西南20公裡的魏家莊被我截殲大部，殘敵逃往兖州。在曲阜的敵整編第十二軍軍長兼整編第十二師師長霍守義見勢不妙，僅留由曲阜反動地主武裝萬餘人編成的軍部獨立旅固守，于月6日率軍部及第三三一團逃往兖州。我第七縱包圍曲阜。
李玉堂和霍守義認為，為了保住兖州，必須固守曲阜，盡管無法守住。于是派整編十二師第一一一旅旅長孫煥彩率兩個團增援。他們行至曲阜附近，即遭到解放軍迎頭痛擊，其第三三二團損失慘重，被迫退回兖州。曲阜獨立旅旅長劉宗顔又連連求援，霍守義複令孫煥彩率全旅馳援，并派軍參謀長王樹軍到該旅督戰。孫煥彩認為曲阜之圍根本無法解開，增援隻能徒增傷亡，更加沮喪士氣不如儲存實力在兖州與解放軍決戰。但又不能違背軍令，隻好硬着頭皮率部東進行至泗河以東，又遭到解放軍截擊，被迫退回。第一—一旅兩次東援失利，霍守義怒不可遏，當即将孫煥彩撤職。兖州大戰在即，敵人撤換主力旅旅長，可見霍守義軍事指揮之混亂、平庸。
曲阜敵軍待援無望，解放軍攻城又急，于6月11日晚向西南方向突圍，可是怎能逃出重圍？部隊旋被全殲，劉宗顔也被擊斃。鄒縣守敵保安第三旅于12日逃往兖州，僅留縣自衛大隊防守，第七縱第十二師和魯中軍區部隊于6月15日發起攻擊，各路突人城内，僅經4個小時戰鬥，即将守敵全殲。并擊潰由臨城北援之敵兩個團。魯中部隊進擊甯陽，全殲守敵縣自衛大隊。
在此期間，魯南軍區部隊破壞了滕縣至韓莊鐵路，在滕縣南北兩面發起猛烈攻勢，打退界河守敵整編第四十五師第一四一旅、官橋守敵整編第四十五師第二一二旅一部、沙溝守敵整編第七十七師第三十七旅的反撲，敵紛紛南逃，我收複界河、看莊、兩下店、官橋、南沙河、東沙河、大宮、小宮、蒼溝等10餘據點。
戰局發展急轉直下，經20多天的戰鬥，我軍肅清了津浦線濟南以南萬德至兖州以北姚村段、兖州至臨城段除滕縣外的沿線及兩側之敵，殲滅敵正規軍2個團、保安部隊3個團，以及曲阜、泰安、泗水、新泰、蒙陰、費縣、萊蕪7縣自衛大隊，總計2萬多人。我軍全部控制了兖州北至濟南、南至臨城的鐵路，收複泰安、肥城、章丘、曲阜、甯陽、鄒縣、新泰等8座縣城。第十綏靖區部隊被我分别包圍于兖州、濟甯、汶上等孤立據點，因兖州南北兩面鐵路被截斷，僅靠空中交通，他們滅亡的日子已屈指可數了！
山東兵團攻占泰安等地後，原定的戰役第一作戰階段任務完成。6月1日，許世友、譚震林制定第二階段作戰方案，上報中共中央軍委、毛澤東主席及華東局、華野總部。方案有兩個，一是以第十三縱攻占曲阜、縣，相機攻占滕縣；魯中部隊監視兖州、濟甯、汶上，并相機攻占甯陽；第七縱在泰安以北打援。待雨季過去後再打兖州。二是以第七縱擔任第十三縱任務，完成後以第十三縱及魯中部隊攻占兖州，相機攻占濟甯、汶上，第九縱調泰安以北打援。許、譚認為，執行第一方案則儲存了主力，不緻第七縱損傷元氣，以利爾後作戰；執行第二方案，則這些好處均無，還需在雨季中補充一批兵員給第七縱，以使其恢複元氣。
中共中央軍委、毛澤東主席在電請華野代司令員兼代政委粟裕、副參謀長張震對山東兵團作戰方案提出意見的同時，訓示許譚根據劉鄧去年渡黃河進行魯西南戰役經驗，魯西南及魯中雨季是從8月上旬開始，此在雨季之前還有兩個整月至兩個半月的作戰時間。“執行第一方案是可行的，但如果雨季之前尚有時間攻擊固定之敵，則可考慮第二方案”。
華野西線兵團改變部署後，敵情也起了變化，許譚認為敵整編第八十三師可能從金鄉進入濟甯，整編第二十五師可能由徐州北上。這樣，山東兵團打援兵力不夠。許譚準備放棄打兖州計劃，以第九、第十三縱及渤海部隊襲殲濟南以東龍山的第七十七旅，第七縱集結泰安。中共中央軍委、毛主席鑒于華野西線兵團将要發起開封戰役，電示山東兵團仍應攻兖州，調動徐州整編第八十三、第二十五師北援，以減輕敵對粟裕、張震方面的壓力。并強調指出:“這是你援助粟、張，使粟、張作戰得手的最好方法。萬萬不可以此時去打第七十七旅。待敵援兵到達兖州附近，你們即可停止攻擊兖州，監視援敵，仍然不要去打第七十七旅。”6月17日，山東兵團表示決心執行中共中央軍委、毛主席訓示，以第七縱、魯中部隊猛攻兖州，并相機攻占，必要時以泰安的第十三縱南下一個主力師助攻，以吸引徐州敵北援。
第七縱和魯中部隊于6月20日包圍兖州，并向東西南3關猛攻，22日攻占西面舊關，24日攻占琉璃廠，25日攻占西關。但是我軍并不攻城，而是密切注意徐州、濟南之敵的動向。許譚首長的戰役意圖是“攻兖打援”，以求調動徐、濟敵人來援，分散徐州西援豫東戰場的兵力，策應外線兵團的作戰；同時，求殲援敵于運動中。濟南之敵在連續遭到我軍打擊後，行動非常謹慎，龜縮于濟南城區，不敢輕舉妄動。這時，豫東開封戰役正在激烈進行。開封、兖州兩戰場同時告急，徐州之敵增援何方舉棋不定。至到6月22日華野西線兵團攻克開封，顧祝同才下決心北援兖州，令黃百韬兵團整編第二十五、第八十三師和第三快速縱隊，自蘇北沿津浦線車運北上。
山東兵團除以第三十八師留泰安監視濟南之敵外，主力飛速南下泗水、曲阜，迎擊徐州北援之敵。但敵援軍進展迅速，第九、第三縱未及進入打援位置，敵先頭整編第二十五師已于28日到達滕縣以北的界河。許世友即調包圍兖州部隊南下打援。由于部隊過早松圍南下，暴露了圍城打援企圖；加上華野外線兵團及中原野戰軍一部于6月29日發起睢杞戰役，敵區壽年兵團陷入重圍求援甚急。蔣介石複令黃百韬兵團車運河南商丘，改援睢杞戰場。黃百韬還沒趕到區壽年早已全軍覆滅。黃百韬在魯豫兩省之間“武裝大遊行”，落了個兩頭撲空。山東兵團南下打援不成，北面濟南之敵又遲遲未南援，兖州孤立，出現“空檔”。兵團首長當即抓住這一戰機，令第七縱、第十三縱和魯中軍區部隊，于1948年7月1日重新将兖州團團圍住。兖州為古九州之一，地處交通要道，素有“九省通衢，齊魯咽喉”之稱。在此屯以重兵，北可控濟南，南可扼徐州，西可瞰魯西，東可窺沂蒙，真可謂是四戰之地。曆史上，這座古老的軍事重鎮，曾出現過無數場聲勢赫赫的大戰。抗日戰争勝利前夕，我軍就想收拾駐紮這裡的日僞軍；1947年夏季也曾打過但都因為條件不成熟，沒能得手。這回是第三遭了。
國民黨要保持津浦路，堅守中原，兖州無疑是不能忽視的要地。1946年，國民黨在這裡設立了第十綏靖區，調嫡系第二十七集團軍副總司令李玉堂任綏區司令官，但直屬部隊僅有一個特務營、一個憲兵團及部分地方武裝。守兖州的主力部隊原為整編第三十二師周志道部，1948年1月，該師與守淄博的整編第十二軍霍守義部對調，但霍的重炮營被王耀武扣留于濟南。
整編第十二軍名義上轄整編第十二、第七十三兩師，因整編第七十三師曹振铎在濟南，由王耀武直接指揮，實際上僅能指揮在兖州的整編第十二師。該師轄第一一一、第一一二旅6個團。總兵力2.8萬人。整編第十二軍中将軍長兼整編第十二師師長霍守義，少将副軍長王杲（兼界首警備司令，未在兖州），副軍長兼政治部主任宋迪玺，少将參謀長王樹軍，少将高參王肇治、馬萬珍、陶景奎、王定中、郭明九；第一旅旅長孫煥彩，孫被撤職後為劉書維，副旅長楊毓芳，第一一二旅旅長于一凡，副旅長車元勳，軍獨立旅旅長劉宗顔。
敵人兵力部署是，軍部直屬隊，第一一一旅及第一一二旅第六六七團在兖州城内，軍直屬補充團在東關及車站附近；軍獨立旅及地方團隊駐曲阜；第一一二旅駐濟甯。
綏區司令官李玉堂，山東廣饒縣人，為民國将領山東籍“三李”之一（另為李延年、李仙洲）。黃埔軍校第一期畢業。整編第十二軍原系東北軍，是在蔣介石長期歧視、排斥下，為東北軍僅存的部隊。原為東北軍第十二旅，東北易幟後編為陸軍第十二旅，1930年改為第一一二師，後編入第五十七軍。1939年随軍進入山東。皖南事變後，南下蘇北“圍剿”新四軍，副師長榮子恒帶3個營留魯南投日。1943年與第一一一師、新編第三十六師合編為第十二軍。1945年開赴山東。1947年升編為整編第十二軍。該部善于守備。
兖州保安部隊大部為土頑、流氓、反動地主組成，政治上反動，裝備訓練差，戰鬥力不強。另外，兖州及其外圍和泗水、曲阜、鄒縣還有地主、惡霸、還鄉團反動武裝2萬多人，但他們多不堪一擊。
兖州城橫卧在泗河西岸的窪地裡。窪地像一隻巨大的鐵鍋。城東緊靠泗河；城南數裡處有徒涉點，但雨後必須船渡；城西為平原開闊地。津浦鐵路環繞東、北兩面。城内多開闊水塘，天主教堂和淩霄塔（興隆塔）為制高點，俯瞰全城。城内有常駐人口5萬，國民黨軍眷屬2萬。
因是曆史古城，兖州城郭高大堅固，城牆高10餘米，厚五六米。經日僞軍國民黨軍多年經營，在原有城牆基礎上，形成了以城牆結合四關，以地堡群為骨幹的防禦體系。從城頭到城腳有3層火力網:城頭層，由貫通城牆頂的交通壕連接配接着的地堡，地堡利用城垛修建，每50米一個，全是石頭、水泥砌成地堡和交通壕内有步兵火力掩體和火炮陣地。中間一層，由城牆頂開口挖到城牆半腰構成洞穴式輕重機槍火力巢。城腳一層，是由城内挖開通道，伸到城外的暗堡和集團堡。城門城角為防禦重點，中環城有一條寬6至10米、深4米的護城河，水深1至2米，并與泗河相通。河内布滿鐵蒺藜。護城河外又挖了一條8至11米寬的壕溝。河、壕之間布設了鹿寨、鐵絲網、電網、地雷場等障礙物，縱深達五六十米。外圍以四關為依托，築有獨立子母堡。東、北兩面的鐵路線上，裝甲車日夜巡邏。城東關還有以泗河為依托，連接配接南北兩城角構築的一個大橢圓形設防陣地，中間有火車站、飛機場、兵營等。
由此，兖城城防形成有高厚城牆、複雜的附防、立體交叉火網與支撐點相結合的堅固防禦體系。李玉堂、霍守義因為兖州工事堅固、防守嚴密，曾誇口說“兖州是鐵打的！”并命人在城西北角的石砌碉堡上镌刻了5個大字“天下第一碉”。城防工事固然堅固，火力固然嚴密，但美中不足的是士氣低落，異常恐慌，不敢出城應戰。
蔣介石指令李玉堂“固守待援，以收牽制之效，俟南北援軍到達後再行出戰，修複津浦中段的交通”。李玉堂、霍守義即進一步加強工事，重新部署兵力，作固守打算。徐州顧祝同一再為兖州守軍打氣，宣稱兖州“決無問題”，并向李、霍一再保證，必要時定派重兵增援。霍守義在軍官會議上說:“共軍山東兵團3個縱隊，面臨濟南、徐州的援兵，至多能用1個半縱隊打兖州，沒有3倍的兵力構不成包圍圈。”他要求部下依恃深溝高壘，嚴陣以待，讓共軍“碰壁而逃”。李玉堂更是有恃無恐，在我軍四面圍定城池時，仍在天主教堂裡為他去世的母親大擺靈堂，“超渡亡靈”早升仙界。晚上，則照常飲酒、打麻将、糟蹋女學生。
從7月1日起，我軍攻擊兖州外圍。第七縱第二十一師攻占新橋，殲敵第三三三團第六連大部，并占趙家村，守敵逃竄；第十九師攻克前後窯村，殲敵百餘，控制泗河堤200米；魯中部隊攻克豆腐店，殲敵獨立八團第九連，對舊關攻擊未奏效，經反複争奪，于7日重新攻占舊關。
在外圍戰鬥中，西關打得最為激烈殘酷。7月4日，第二十一師第六十二團攻入西關。敵除原守備西門城防的第三三二、第三三三團外，調總預備隊第三三一團，一連3次向我猛烈反撲，形成對峙。5日，第七縱增調第六十一團攻擊西關，經3天激烈争奪，于7日全克西關。戰鬥中，1公裡多長的西關房屋悉被摧毀。在西關三義街、半邊街不足200米的地段上，敵人傷亡達2000人。攻克西關後，，我軍勝利完成外圍預定作戰任務。
在兖州外圍戰鬥期間，滕縣守敵整編第四十五師及保安第十八團唯恐被殲，南逃臨城，行至南沙河、官橋遭我截擊，殲其師炮兵營及辎重營一部。
黃百韬兵團改援豫東戰場後，山東兵團第九、第十三縱在泗水、曲阜停留；濟南之敵吳化文部南援兖州，占領萬德，并向界河推進。而佯攻兖州的第七縱和魯中軍區部隊，從膠濟線戰鬥至今，在4個月中連續作戰，減員甚多，難以單獨解決兖州。為此，許世友、譚震林、劉少卿于7月3日向中共中央軍委、華東局、華野總部提出兩個作戰方案:一是集中山東兵團全力打兖州，魯南軍區部隊包圍臨城，威脅韓莊，這樣即可消滅整編第十二軍，相繼殲滅南援的吳化文一部或大部，攻占兖州、濟甯、汶上，以利雨季後的作戰；二是全力南下，攻克臨城、韓莊，威脅徐州，留魯中軍區部隊于曲阜、兖州監視整編第十二軍，這樣對中原作戰将起到直接配合作用，但整編第十二軍可能從濟甯逃往魯西南。山東兵團首長認為，上述兩個方案以執行哪個為好，以華野西線兵團是否繼續打邱清泉為轉移。如西線兵團殲滅整編第七十二師再打邱清泉，則山東兵團南下為好；如不再打，則山東兵團以打兖州為好。
為此，中共中央軍委、毛主席電商西線兵團粟裕、陳士榘、唐亮、張震，認為西線兵團既有把握續殲整編第二十五、第七十二師，暫不打邱清泉兵團；徐州方面對豫東戰場已無威脅，山東兵團南下威脅徐州已無意義，提議拟同意山東兵團集中兵力攻克兖州。西線兵團擁護中共中央軍委、毛主席訓示，贊同山東兵團攻克兖州、濟甯之敵，臨城、韓莊段之敵可由魯南軍區進逼。同時，華野總部令蘇北兵團向運河線進擊，拖住淮北敵人。在權衡豫東、山東戰場形勢，充分征求意見的基礎上，中共中央軍委、毛主席于1947年7月6日正式電令山東兵團許世友、譚震林并告華野總部、華東局、中原局，組織攻克兖州、濟甯、汶上諸點戰役。電令說:“關于集中3個縱隊及魯中兵團全力在雨季以前攻克兖州、濟甯、汶上諸點，全殲整編第十二軍及其他雜部，并争取殲滅濟南南援之敵，打通山東和華野西線兵團的交通，孤立濟南，以利雨季後你們兵團放手南進或西進，更有力地配合粟部打大殲滅戰。希望你們本此方針精心組織此次戰役。關于完成任務的時間，應按敵情和你們自己的條件來決定，10天或20天均可。關于戰役應注意事項，除于兖州将克之際，應派一部監視濟甯之敵，勿使跑掉一點已告你們外，似應一個師利用大汶口西端敵人原來工事堅阻整編第八十四師，如敵人超越來援，則該師處于敵後，以利夾擊援敵，保障此役勝利，亦望考慮注意。”
我軍廓清了兖州南北西3關，古老高大的城牆裸露在山東兵團攻擊部隊面前。許世友、譚震林決心集中第七縱、第十三縱和魯中軍區部隊攻城，第九縱在泗水阻殲濟南方面援敵。