1944年5月初，日军先头部队开始攻击龙门，洛阳保卫战正式打响。为了早日攻克河南重镇洛阳城，冈村宁次不仅派出了第12军的全部兵力，而且又从华北和华中地区调来师团，这样参战的兵力达到了5万以上。可以说，日军这次是下了很大本钱的，大有毕其功于一役的势头。
日军重兵来犯，而中国军队的情况可谓不容乐观。当时坚守洛阳的是第15军军长武庭麟。身为洛阳守备司令，他手里可调动的只有三个师，分别是第15军的64师和65师，这是一支河南地方军，其出身很不光彩，是由土匪改编而来的。另外还有一个来自四川的第14军94师，这是一支装备很差的川军。
按照国防部的部署，原计划是按照12个团的兵力来防守洛阳的。但是计划赶不上变化，日军进展迅速，根本没有时间进行详细调兵。现在大敌当前，三个师的兵力只有7个团，人数加起来也只有1万8，面对5万日军的进攻显得异常单薄。
人数少得可怜，武器装备也差得上天入地。中国军队的装备大部分是轻武器，反坦克武器少之又少，反观日军，带着100多门各种火炮，400多辆装甲战车就来攻城了，明显是来打富裕仗的。
按照以前的套路，日军仗着装备好，兵员素质高，常常以少打多，照样打得中国军队节节败退。现在兵力和装备都处于优势，拿下洛阳该不成问题。但开打之后，洛阳守军的顽强出乎了日军的意料之外。
守城的第15军是地方部队，官兵大多是豫西人。这支军队虽然是土匪武装收编的，但也不愿看到自己的家乡沦丧，因此保家卫国的热情很高涨。当年曾参加过洛阳保卫战的一位姓罗的老兵罗说，保卫洛阳就是保卫家乡，保住洛阳才能保护父老乡亲，所以大家都抱着必死的杀敌决心。
5月7日，日军攻克龙门。洛阳失去天然屏障后，立刻处于险境之中。为了阻止敌人过河，守军先后炸毁了通往洛阳两座桥中正桥和林森桥，但效果不大。9日，山西日军的第一军第69师团渡过黄河，从西面向洛阳挺进。日军第12军主力在洛阳南面和西面继续前进。随着外围各处阵地的丢失，洛阳被围成了一座孤城。
为了打好守卫战，军长武庭麟将阵地划分为三个防守区。川军94师守城厢，64师守西工，65师守邙岭，每个防区根据需要都在加紧进行工事准备。
随着猛烈的炮火攻击，日军开始了进攻。中国守军与敌人展开激烈的阵地战。在双方的攻防战中，以史家屯的战斗最为激烈，仅在17日至19日的两天中，敌我双方就史家屯先后争夺5次。最危险之时，日军派出五千多人进行攻击，而中国守军则以手榴弹还击，打到最后，手榴弹用尽了，战士们端着刺刀进行白刃战也死战不退。
在洛阳保卫战中，中国军队表现了很高昂的战斗士气。在上清宫阵地，194团2连连长韩昆生活捉了一名日军佐官，遭到大批日军围攻抢人。看到自己无法突围，他当即刺死佐官，然后全力拼杀，最终壮烈牺牲。副连长看到连长死在了敌人刺刀下，抱起8枚手榴弹，怒吼着冲入了敌群，随着一声巨响，他与敌人同归于尽。
看到各处阵地伤亡惨重，第14集团军总司令刘茂恩建议国防部让15军撤出洛阳城。第15军是第14集团军的主力，他可不想主力被全歼。但当天下午，洛阳守军收到蒋介石的空投命令，让官兵坚守待援，不可轻易突围。为了给守军打气，蒋介石出动了中美联合空军进行空中支援，不过空军的支援有 限，对战局的影响不大。
正在守军抱着必死决心打白热仗的时候，对面的日军却罕见地提出了停战，并要求进行谈判。原来日军指挥官内山英太郎看到战况太惨烈，守军太顽强。他不想再损失兵力去攻城，打算“和平”解决洛阳。
日军空投了劝降书，里面先是赞扬中国守军作战英勇，然后告诉守军，洛阳已是死城，外面已无援军，最后表明了态度，洛阳为日军必得之地，迟早都要打下来的，与其互相伤亡，不如进行友好商谈。
对于日军送上来的“好意”，中国军队做出了回应，最后的几发炮弹向日军司令部射去，以此表示中国军队人在城在的决心。
看到劝降无果，23日，日军调集30多架飞机和100多门大炮进行空中轰炸，400辆坦克和3万步兵分兵6路向洛阳城发起总攻。下午，城墙经不住长时间的轰炸，东北角和西北角同时被攻破，守军在弹药将尽的情况下进行了激烈的巷战。
24日，随着涌入的日军越来越多，全城进入混战状态。守城官兵利用民房努力抗击敌人，并与其进行逐街逐巷争夺，敌人每占领一处高地都要付出巨大的代价。经过一天的激烈战斗，中国守军伤亡3000多人，共毙伤敌人8000多人。
当晚，看到城破已无坚守希望，第15军军部命各部自行突围，到洛阳城外集结待命。附少数人突出重围外，坚守20天的洛阳沦陷了。
据战后统计，原本1.8万的守军仅有官佐316人和士兵1795人突围成功，1万6千人为国捐躯。不过，保卫洛阳的战果也是很辉煌的，整个保卫战中，中国守军共毙伤敌军2万余人，大大超出了敌我的想象，要知道，历来战斗结束，日军总是以较小的伤亡获得了最大的战果，而这次却在洛阳保卫战中栽了跟头。