1941年9月，第二次长沙会战开战，在第九战区司令长官薛岳的安排下，第10军开赴高桥、金井、福临铺一线阻击日军。
9月24日，日军三个师团对第10军阵地展开猛攻，经过两昼夜激战，第10军损失惨重，3个阵地被攻破，无奈之下，军长李玉堂下令撤到浏阳河一带，利用地形优势，阻击日军四昼夜，终于坚持到援军到来。
然而，战后追究责任时，第10军军长李玉堂却当了背锅侠，被撤职处分，消息传到第10军，群情激愤，为阻击日军，损失惨重，就连第3师副师长赖传湘都壮烈殉国，付出如此惨重代价，不仅得不到表彰，军长还被撤职？
第10军的不满情绪，竟然让蒋介石委任的第10军新军长钟彬不敢上任，一时间，第10军成了一支没有军长的部队。
同年12月，日军再次集结重兵攻打长沙，当时的第10军负责守备长沙，可没有军长怎么能行？无奈之下，薛岳硬着头皮向蒋介石提议，让李玉堂再次接手第10军，但此时的李玉堂，也因撤职感到强烈不公，根本不买薛岳的账。
无奈之下，蒋介石亲自给李玉堂打电话，给李玉堂接触了处分和表达了校长对李玉堂的信任，李玉堂这才接管第10军。
1942年1月，日军再次集结3个师团优势兵力，对长沙展开猛攻，李玉堂率第10军拼死抵抗，手下3个师长，都亲自上前线督战，激战3日，日军未进寸步，随着各路国军的阻击，日军多名高级军官负伤，日军第11军司令官阿南惟畿无奈下令撤退。
第三次长沙保卫战，我军死伤29849人，击毙日军56944人，是抗战中难得的胜利，第10军得了个名号“泰山军”，李玉堂也一战成名，升任第二十七集团军副总司令，与同是山东籍将领李仙洲，李延年，王耀武合称三李一王。
抗日战争中，李玉堂不仅参加了三次长沙会战，还参加了武汉会战、常德会战、长衡会战等等，为抗日立下汗马功劳。
然而，1951年，蒋介石却在李玉堂的判决书上亲笔写下一个“耻”字，李玉堂与夫人陈伯兰被押赴刑场枪决，这究竟是怎么回事呢？
原来，在解放战争后期，李玉堂担任海南防卫副总司令、东路军总指挥、32军军长三大要职，如此重要的人物，当然是解放军争取的对象，通过李玉堂的妻子陈伯兰和内兄陈石清，解放军与李玉堂取得了联系，但李玉堂一直没有下定决心起义。
后来海南战役爆发，联系中断，此事便不了了之，1950年4月，李玉堂带着残部退到台湾，退到台湾的李玉堂被撤职，不久，李玉堂负责策反工作的随从副官李刚暴露，酷刑之下，供出了李玉堂的夫人与内兄陈石清，得知消息的李玉堂，立刻给陈石清写了一封信，让陈石清赶紧逃命。
不巧的是，这封信被特务截获，李玉堂因此被捕，负责审理此事的是钱大钧，钱大钧根据相关条例，给李玉堂判刑15年，但蒋介石批示时，却写了个大大的“耻”字，既然是“耻”，那就只有死路一条。
1951年2月5日，李玉堂和夫人陈伯兰在台湾台北碧潭刑场被枪决，享年51岁，临死前留下遗书：“
......我无对不起国家之事，国家如此对我，于国家何益？......一生为国，如此下场，心有不甘耳！……
”。