1949年4月，解放軍百萬大軍橫跨長江天塹，突破國民黨軍的防線，國民黨軍的滬杭警備總部所屬部隊5個軍在郎廣山區被殲滅，其餘大部退據上海，連同原淞滬警備司令部所轄部隊，共8個軍25個師20餘萬人。
國民黨軍盤踞在上海的這20萬大軍，企圖依靠上海豐富的資源的堅固的工事繼續抵抗，為他們搶運上海的物資和資源争取時間。京滬杭警備總司令湯恩伯以第21、第51、第52、第54、第75、第123軍等6個軍共20個師，配屬坦克、裝甲車，守備黃浦江以西市區及外圍太倉、昆山、嘉興、金山等地；以第12、第37軍共5個師，守備黃浦江以東地區。國民黨軍隊的海軍和空軍部隊，負責協助防守。
當時上海的人口為600萬，是中國的經濟中心，也是帝國主義侵華的主要前進基地，戰略地位十分重要，在國際上的影響很大。戰役打響之前，軍委，華野司令部都向前線下達了指令：為使城市不遭破壞和避免人民群衆傷亡，部隊堅決不使用火炮和炸藥，以鮮血和生命為代價從敵人手中奪取工廠、大樓！
在當時，能否完好無損地解放這個大城市，是一項十分艱巨，複雜的任務。在上海作戰，尤其是上海市區作戰，猶如瓷器店裡打老鼠，如果打爛了上海，那麼新中國的經濟建設就要遭受巨大損失。如果我軍接管工作不做好，導緻上海停工停電，發生混亂，那麼也不行。
1949年4月27日，毛主席訓示總前委和三野代司令員粟裕，三野參謀長張震：“你們不但要部署攻擊杭州，而且要準備接受上海，以便在上海敵人加入迅速退走，上海人民要求你們進駐的時候，不緻毫無準備，倉促進去，陷入被動！”
毛主席提醒得很及時，因為在劉伯承，鄧小平，陳毅進入南京後，親眼目睹了一些我軍進入大城市後的事情，他們感到了對部隊進行城市政策教育的緊迫性。這項教育在渡江戰役之前就進行過了，但是在進入大城市後，很多的戰士由于好奇，還是鬧了不少笑話。
23軍68師在進入杭州後，因為不習慣城市的生活，不會使用電燈，自來水，破壞電燈，自來水的現象很普遍，幾天就弄壞了40多個燈泡。68師203團戰士在蔣介石官邸搞壞了三個抽水馬桶，并用抽水馬桶裡的水刷碗。站崗的士兵在馬路中央，看到車就攔住詢問，影響了交通，有些戰士看到女性穿着裙子，就在背地裡罵不是好人，有些戰士看到商人生活講究，背地裡就罵他們是寄生蟲，吸血鬼。
68師政委陳茂輝進城之後，發現有些戰士把騾馬拴在一間小洋房裡拉屎，立刻把帶隊的幹部批評了一頓。很多城市由于對城市裡的生活不習慣，動不動就會犯錯誤，有個營從城市裡搬到鄉下後，大家都高興地說道：“這下可解放了。”
解放上海之前，三野花費了大量的時間對部隊官兵進行政策教育，以緻于耽誤了訓練的時間，後來葉飛就說過：“解放上海各方面的準備工作，特别是如何接管好這個城市的準備工作都很充分，卻疏忽了軍事上的準備以及作戰部署很不周密。”除此之外，部隊的官兵也出現了嚴重的輕敵思想，認為敵人不堪一擊，有些人還說道：“過江過江，沒放一槍；追擊追擊，不堪一擊。”
1949年5月12日，解放上海的戰役正式打響，三野28軍，29軍一路急進，在幾乎沒有遇到任何抵抗的情況下就占領了浏河，太倉，嘉定。當天晚上，葉飛就把兵團指揮部搬到了嘉定，進展順利出乎所有人的意料。
葉飛也十分疑惑：“國民黨軍就算再不能打，也是有作戰經驗的部隊，浏河這個地方總該防守啊，這是上海的第一道防線。如果駐守上海的守軍想起義，為什麼又沒有人去聯系我們呢？”
第二營，也就是5月13日，三野各部隊就遭受了重大損失。由于前一天很容易就占領了浏河，我軍的輕敵思想更加嚴重了，29軍86師，87師沿着公路并排前進，向月浦發動進攻。當時駐守月浦的是國民黨軍第52軍，這是遼沈戰役期間從營口撤退的唯一一支軍隊，建制完整。軍長劉玉章畢業于黃埔四期，對付我軍有豐富的作戰經驗。
29軍各部在進攻的時候損失很大，敵人把碉堡僞裝成了墳包，我軍進攻部隊沒有發現，被打了個措手不及。29軍87師253團在進攻月浦的時候，先後組織了三次進攻，損失了500餘人，但是都沒有拿下陣地。
13日，14日，15日連續三天的戰鬥，28軍，29軍都付出了巨大的傷亡，戰鬥處于膠着狀态，部隊前進十分困難。葉飛決定改變戰術，采取淮海戰役期間近迫作業的方式，逐個進行拔點，穩紮穩打。但是上海郊區的水田太多，挖一米就可以見水，近迫作業的難度要比淮海戰役難太多。
第九兵團的情況要比第十兵團好一些，攻占川沙、周浦，在白龍港地區全殲第51軍，将第12軍壓縮于高橋地區，并割斷了其與浦東市區第37軍的聯系，與第10兵團形成了夾擊吳淞口之勢。經過十天的外圍作戰後，三野終于殲滅了外圍的兩萬國民黨軍部隊。
5月23日，粟裕調集第八兵團25軍，第九兵團，第十兵團十個軍，30個師和特種兵縱隊共40萬人的兵力對上海守軍發動總攻。為了讓上海市區少受損失，三野再次下令部隊在市區作戰時不準使用火炮，炸藥。國民黨軍此時也有點崩潰了，國民黨淞滬警備司令部的一個傳令官竟然開着吉普車把指令送到27軍的陣地上。
25日淩晨，27軍已經攻打下了蘇州河以南的主要街區，在蘇州河北岸，國民黨軍憑借百老彙大廈，郵電大廈等高層建築，以密集劶封鎖蘇州河各橋梁。27軍多次組織進攻，都遭受了敵人的火力打擊。
面對敵人居高臨下的機槍和炮火打擊，27軍前線幹部急得團團轉，強烈要求軍部允許使用炮火準備，前線的幹部直接質問上級：戰士的命重要，還是上海的高樓大廈重要。
27軍軍長聶鳳智請示了三野司令部，想要動用炮火，但是遭到拒絕，最後聶鳳智親自到達前線觀察敵人火力點，指揮前線各團，各營的進攻。就在兩軍相持不下的時候，國民黨軍淞滬警備區副司令兼51軍軍長劉昌義派人前來聯系27軍。
24日夜裡，劉昌義把21軍，51軍，123軍的進階軍官全部都叫來開會，号召大家起義。國民黨軍軍官其實也早就不想打了，湯恩伯都坐着軍艦跑了，他們想要守，又能堅持多長時間。但是大家沒有可靠的聯系方式，怕解放軍不相信，在這個時候，51軍軍部潛伏的一名地下黨員冒着殺頭的危險，說出了自己的身份，表示自己可以出面和解放軍聯系。劉昌義和其他的國民黨軍軍官都很高興，派人去連續解放軍。
25日中午，在一名地下黨員的牽線搭橋下，劉昌義等人來到了蘇州河南岸的27軍81師師部，會見了師政委羅維道。羅維道向其交代了政策，要求國民黨軍先放下武器，停止抵抗。黃昏時，劉昌義被接到27軍軍部，27軍軍長聶鳳智也十分高興。
劉昌義見到聶鳳智後，非要讓聶鳳智出具一份蓋有陳毅印章的指令，這才答應投降。聶鳳智哪裡會有陳老總的大印，但是他怕擔心戰役的程序，讓政治部主任去地裡拔一個蘿蔔，刻一個“陳毅”的關防大印。劉昌義看到了這份指令，這才放下心來。
26日淩晨，劉昌義率領51軍等四萬多國民黨軍投降，51軍起義時，遭到了54軍的攻擊，但是被我26軍和起義部隊擊退。湯恩伯得知劉昌義起義後，立刻下達總撤退的指令，在撤退的時候，碼頭上一片混亂，國民黨軍一片混亂。
5月27日，上海全部解放。在這場戰役中，第三野戰軍殲敵15萬人，其中擊斃擊傷敵2.3萬人，而三野卻傷亡了三萬多人，占到渡江戰役中野華野傷亡總人數的一半以上。
5月27日淩晨，上海下起了下雨，當上海的老百姓在槍聲平息後打開家門，發現馬路兩邊潮濕的水泥地上，睡滿了身穿黃布軍裝的解放軍戰士。很多老百姓邀請解放軍戰士到屋裡住，并給他們送來開水，食物，但是一律被解放軍婉拒，部隊三天都沒有開水喝，隻能吃30裡外送來的冷飯。為了不影響城裡的老百姓生活，每天早晨天還沒有亮，連長帶着全連到黃浦江邊友善，由于找不到廁所，再加上路途遙遠，很多戰士半路上拉在了褲子裡。
所有戰士幹部們就這樣堅持不入民房，堅持不在市場上買東西，堅持不入公共廁所，一直過了三四天，接管工作準備就緒，各部隊才開始陸續搬進國民黨軍空閑的營房，倉庫，陸續住了進去。