1944年5月初，日軍先頭部隊開始攻擊龍門，洛陽保衛戰正式打響。為了早日攻克河南重鎮洛陽城，岡村甯次不僅派出了第12軍的全部兵力，而且又從華北和華中地區調來師團，這樣參戰的兵力達到了5萬以上。可以說，日軍這次是下了很大學錢的，大有畢其功于一役的勢頭。
日軍重兵來犯，而中國軍隊的情況可謂不容樂觀。當時堅守洛陽的是第15軍軍長武庭麟。身為洛陽守備司令，他手裡可調動的隻有三個師，分别是第15軍的64師和65師，這是一支河南地方軍，其出身很不光彩，是由土匪改編而來的。另外還有一個來自四川的第14軍94師，這是一支裝備很差的川軍。
按照國防部的部署，原計劃是按照12個團的兵力來防守洛陽的。但是計劃趕不上變化，日軍進展迅速，根本沒有時間進行詳細調兵。現在大敵目前，三個師的兵力隻有7個團，人數加起來也隻有1萬8，面對5萬日軍的進攻顯得異常單薄。
人數少得可憐，武器裝備也差得上天入地。中國軍隊的裝備大部分是輕武器，反坦克武器少之又少，反觀日軍，帶着100多門各種火炮，400多輛裝甲戰車就來攻城了，明顯是來打富裕仗的。
按照以前的套路，日軍仗着裝備好，兵員素質高，常常以少打多，照樣打得中國軍隊節節敗退。現在兵力和裝備都處于優勢，拿下洛陽該不成問題。但開打之後，洛陽守軍的頑強出乎了日軍的意料之外。
守城的第15軍是地方部隊，官兵大多是豫西人。這支軍隊雖然是土匪武裝收編的，但也不願看到自己的家鄉淪喪，是以保家衛國的熱情很高漲。當年曾參加過洛陽保衛戰的一位姓羅的老兵羅說，保衛洛陽就是保衛家鄉，保住洛陽才能保護父老鄉親，是以大家都抱着必死的殺敵決心。
5月7日，日軍攻克龍門。洛陽失去天然屏障後，立刻處于險境之中。為了阻止敵人過河，守軍先後炸毀了通往洛陽兩座橋中正橋和林森橋，但效果不大。9日，山西日軍的第一軍第69師團渡過黃河，從西面向洛陽挺進。日軍第12軍主力在洛陽南面和西面繼續前進。随着外圍各處陣地的丢失，洛陽被圍成了一座孤城。
為了打好守衛戰，軍長武庭麟将陣地劃分為三個防守區。川軍94師守城廂，64師守西工，65師守邙嶺，每個防區根據需要都在加緊進行工事準備。
随着猛烈的炮火攻擊，日軍開始了進攻。中國守軍與敵人展開激烈的陣地戰。在雙方的攻防戰中，以史家屯的戰鬥最為激烈，僅在17日至19日的兩天中，敵我雙方就史家屯先後争奪5次。最危險之時，日軍派出五千多人進行攻擊，而中國守軍則以手榴彈還擊，打到最後，手榴彈用盡了，戰士們端着刺刀進行白刃戰也死戰不退。
在洛陽保衛戰中，中國軍隊表現了很高昂的戰鬥士氣。在上清宮陣地，194團2連連長韓昆生活捉了一名日軍佐官，遭到大批日軍圍攻搶人。看到自己無法突圍，他當即刺死佐官，然後全力拼殺，最終壯烈犧牲。副連長看到連長死在了敵人刺刀下，抱起8枚手榴彈，怒吼着沖入了敵群，随着一聲巨響，他與敵人同歸于盡。
看到各處陣地傷亡慘重，第14集團軍總司令劉茂恩建議國防部讓15軍撤出洛陽城。第15軍是第14集團軍的主力，他可不想主力被全殲。但當天下午，洛陽守軍收到蔣介石的空投指令，讓官兵堅守待援，不可輕易突圍。為了給守軍打氣，蔣介石出動了中美聯合空軍進行空中支援，不過空軍的支援有 限，對戰局的影響不大。
正在守軍抱着必死決心打白熱仗的時候，對面的日軍卻罕見地提出了停戰，并要求進行談判。原來日軍指揮官内山英太郎看到戰況太慘烈，守軍太頑強。他不想再損失兵力去攻城，打算“和平”解決洛陽。
日軍空投了勸降書，裡面先是贊揚中國守軍作戰英勇，然後告訴守軍，洛陽已是死城，外面已無援軍，最後表明了态度，洛陽為日軍必得之地，遲早都要打下來的，與其互相傷亡，不如進行友好商談。
對于日軍送上來的“好意”，中國軍隊做出了回應，最後的幾發炮彈向日軍司令部射去，以此表示中國軍隊人在城在的決心。
看到勸降無果，23日，日軍調集30多架飛機和100多門大炮進行空中轟炸，400輛坦克和3萬步兵分兵6路向洛陽城發起總攻。下午，城牆經不住長時間的轟炸，東北角和西北角同時被攻破，守軍在彈藥将盡的情況下進行了激烈的巷戰。
24日，随着湧入的日軍越來越多，全城進入混戰狀态。守城官兵利用民房努力抗擊敵人，并與其進行逐街逐巷争奪，敵人每占領一處高地都要付出巨大的代價。經過一天的激烈戰鬥，中國守軍傷亡3000多人，共斃傷敵人8000多人。
當晚，看到城破已無堅守希望，第15軍軍部命各部自行突圍，到洛陽城外集結待命。附少數人突出重圍外，堅守20天的洛陽淪陷了。
據戰後統計，原本1.8萬的守軍僅有官佐316人和士兵1795人突圍成功，1萬6千人為國捐軀。不過，保衛洛陽的戰果也是很輝煌的，整個保衛戰中，中國守軍共斃傷敵軍2萬餘人，大大超出了敵我的想象，要知道，曆來戰鬥結束，日軍總是以較小的傷亡獲得了最大的戰果，而這次卻在洛陽保衛戰中栽了跟頭。