1938年5月14日，日军第28旅团凭借化学武器和重炮的猛烈攻击，突破菏泽的外围阵地，把菏泽城四面围困起来。防守菏泽，又是一场血战。
李必蕃指挥的第23师，有一支以工兵为主的骨干队伍，擅长防守，敢打硬仗。看到日军猛烈的进攻，李必善知道菏泽已经是一座孤城了，守城的决心更加坚定。他对官兵们说：“我们无论如何都要坚守阵地，绝不能后退，不能再让日本鬼子在中国的土地上狼奔豕突了。”
日军攻城的炮火越来越猛烈，排炮几乎没有间隙，接二连三地落在中国军队的阵地上。日本鬼子冲上来了。李必蕃师长一声令下，官兵们一齐向鬼子射击，机枪喷出了一条火龙，打得鬼子东倒西歪。
在日军一次接一次的炮击中，菏泽的防御阵地被炸成一片废墟，村庄在燃烧，树林在燃烧。部队伤亡越来越大，有些排的官兵全部牺牲在抗日的阵地上，有的连只有几名伤兵还坚守在阵地上。
鬼子越来越近了。师参谋长黄启东英勇殉国了，刘冠雄团长也在战斗中牺牲了。李必蕃师长看了看身边的几名随从，手一挥，毫不犹豫地冲出战壕。在激战中，李必蕃师长身负重伤。随从副官急忙把李师长搀扶下来，组织直属连杀开一条血路，突出重围。
傍晚，满身是鲜血的李必蕃被救护到菏泽以南5余公里的曲只集。李必蕃从昏迷中醒来，得知菏泽已经被日军占领，悔恨交加，决定以一死来激励将士们继续抗日。他吃力地取出一份地图，写下了“愿我同胞，努力杀贼”的遗言，趁护理人员不注意，猛地举起手枪，在自己头上开了一枪。
李必蕃以身殉国，在全国反响强烈。国民政府追晋李必蕃为陆军中将。国民党的《中央日报》、《大公报》等报刊，纷纷登载文章，赞扬李必蕃的爱国精神。中共中央和八路军总部代表郭沫若、吴玉章、罗炳辉等人率领代表团，参加李必蕃的追悼大会，并送了一块刻有“民族之光”的大匾。1986年，湖南省人民政府追认李必蕃为革命烈士。