雁门失守，崞城被毁，原平遭屠，忻口防线被突破，连省城也落入日寇之手了。
撤，撤，撤，
退，退，退！
整个太原城一片混乱，阎锡山不得不率他的机关干部、党政人员、部队军人，放弃省城太原，向西撤退，而从太原向西撤退的必过通道是汾河。
张培梅的情绪极其低落，打了多半生的仗，还未遇过如此狼狈的境况。太原的汾河上，有一座只能行走马车的便桥，被撤退部队的载重汽车和坦克压塌不少地方。不少汽车、坦克也陷落河中，桥面上堆满了逃亡人丢弃的行李什物。人们认为这是通往晋西的唯一通道，所以撤退的部队军人、政府官员、逃亡的城市商人、乡村百姓，全部涌在了这条通道上，人们的头上还不时有日本人的飞机轰炸。
阎锡山的军政要员们全部撤退至隰县，住在隰县城西的天主教堂里。这时的张培梅将军十分忙乱。时近冬天，张培梅穿着棉衣的胳膊上缝了一条白布裹着的大袖章，上书“执法总监张”，而“张”字的两边两撇十分长，如同两把大刀。
太原撤退中，兵民不分，道路不通，有些军人还乘机干着各种坏事，所以张规定：从前线私逃者，斩！抢劫民物者，斩！奸淫妇女者，斩……沿道电线杆上和各城门上都挂有被砍下的人头，并书“某部士兵，因干坏事，立即枪决，枭首示众，以儆效尤”字样，末书：“第二战区军法总监张。”这对当时维护撤退秩序起了不少作用。
1938年2月，日寇进攻晋南，执法总监张培梅与省府主席赵戴文住在隰县午城，王靖国的十九军在川口负责堵击日军，结果未战两三天，全线撤退。张培梅勃然大怒，声言非砍掉王的脑袋不可。又电六十一军陈长捷增援，但陈也望风而逃，张更怒不可遏，遂电阎：只要砍掉王、陈二军长的脑袋，太原必能失而复得，否则不堪设想。阎不允。张见阎军一再败北，而自己杀一儆百的主张，又不被采纳，悲观失望之余，即萌生自杀之念。
一天下午，张培梅命副官进城买回鸦片烟一两，仓促吞下。左右发觉急报赵戴文，赵跪进解药，张坚不饮，面跪逾时。以战局紧迫，午夜抵大宁，复觅进药，遂饮少许，药发呕噎上升，张则欲吐复吞。于2月26日辰时，赉志以殁，年仅54岁。
次日，阎锡山曾写了一则记张培梅的日记，文曰：
你很爱国，你很壮烈，你以晋民苦矣，国家危矣，不忍睹，不堪睹，君乃自了，遗其妻子，别其朋友，君乃自了矣！我则不作如是感。我国有二千年大一统之光荣，亦随有二千年大一统之遗毒，使维新革命均无大效，经此疯狂自损之日本军阀一大打击，必能去旧崭新，而成现代之国家，我不悲观。途中告我，君服毒得救矣，至宁（大宁）乃知君已矣，使我惨然。继思君结果矣，且有果结矣，遂转我念。君之清廉无积，我所素知。家庭生活，我负其责，君不释念。
有关张培梅之死，原平南怀化人赵正楷先生在台湾写的回忆录中，曾记述原因：
张汉捷先生在西安与我谈起在临汾时他与张总监共住一室，某晚鹤峰刚睡，闷不作声。他说：“鹤峰，我看你快死了！”鹤峰突坐起问：“你从哪儿看出来？”他说：“你平素好像叫驴（公驴，方言称为叫驴），飞踢飞咬的；这些天你好像成了骟驴了（叫驴阉割睪丸，称为骟驴，不再叫，很驯顺）。”鹤峰说：“我这把刀用不出去了，自己用了吧。”说罢立又睡下。
这段记述，出自张汉捷的亲口叙述，自是真实无疑。读罢掩卷，静言长思，张培梅“这把刀”欲用于何方，不言自明。这就是原平老将张培梅的性格。