临汾战役原定于3月10日打响。3月4日，临汾阎锡山部的66师2000余人出扰汾河西之襄陵、汾城地区。3月5日，我13纵队奉命西渡汾河作战，6日进占襄陵县城。就在这时，我“前指”从破译的敌电报中得知，胡宗南部在陕西宜川被我西北野战军歼灭5个整旅，3万多人。
为了挽救自己在西北战场的失败，胡宗南不顾临汾之危，急忙将其第30旅空运西安，增兵洛川。为了配合西北战场作战，拖住敌人，断绝空运之敌逃路，徐总决定提前3天，即于3月7日发起临汾外围作战。遂令第8纵队7日晨夺取尧庙宫机场，而后由城南攻城；第13纵队西渡汾河，奔袭出扰襄陵之敌，而后移至城东夺取东关；吕梁部队控制河西之敌，太岳部队于城北。以向心合围态势，首先扫清外围，拔除护城据点，攻克东关，力争将敌主力消灭于外围，而后进攻主城。若晋中敌人南援，即先歼援敌，而后攻城，如果敌人不来增援，则一举攻克临汾。
受领任务后，我8纵24旅经一昼夜急行军，7日晨抵尧庙宫机场，该旅72团当即以迫击炮袭击飞机场，9发炮弹击毁敌机2架，其余8架仓皇飞逃。等待空运之敌第30旅亦逃回城内，除30旅旅长尹瀛洲和4个连兵力在此之前被运走外，该旅大部分兵力被拖在临汾。与此同时，我8纵、13纵及太岳军区部队，从城南、城东、城北三面合围临汾。
我8纵主力在城南攻占了柴村、张关、乔家庄、尧庙宫、菜市村等外围据点后，又打垮了敌人的多次反冲击，巩固了占领的阵地。太岳军区部队在城北和城东攻占了高河店、南北焦堡、南北孝村等据点。13纵歼灭汾河西之敌后，于9日冒雨返回，接管临汾城东之防地，开始了拔除外围据点的作战。至16日扫清了敌外围警戒，逼近城垣。在外围战斗中共歼敌1500余人，破坏了胡宗南的空运计划，取得了初战的胜利。
眼看外围据点失守后，梁培璜急忙调兵遣将，集中主要兵力死守城垣周围的护城据点和东关。而我军则从实地侦察和俘虏口中得到情报，守敌之主城以北地势略高，城墙较薄，兵力也较弱，对我军既利于登城作战，又便于兵力、兵器的展开。于是“前指”于3月10日调整作战部署，决定由城东和城北两面实施主要攻击，城南为助攻方向。遂以13纵从城东攻击东关和电灯公司，8纵（欠第22旅）攻击城北兴隆殿（8号）护城据点，以太岳军区4个团攻击北门以东敌护城据点，22旅和太岳军区2个团在城南助攻，吕梁军区部队在河西准备打援或堵歼逃敌。
18日至22日，我13纵38旅为爆破东关城墙挖了三道坑道，但均被敌破坏。23日，我军全线发起攻击，但由于破关坑道被毁，不得已用炮火开辟突破口，然而，在我军在炮数量少、口径小的情况下直到天黑，才打开一个宽约20米，坡度很陡的缺口，外壕内沿又未彻底破坏，当2个突击团冲至城下时，突遭敌火力拦阻，难以登城，不得不撤下来。
3月26日，38旅二次打东关，三条坑道两条又遭敌破坏，一条虽挖到东关城下，但攻击开始前，运送炸药的暗道被敌炮弹炸塌，延误了装药时间，直至27日4时，才装药完毕，爆破时，又因药室装填不紧，未能发挥应有威力，只把城墙炸开一条裂缝，突击队只好在炮火支援下，从原先炮兵轰开的缺口强行登城。
但是由于步炮协同不力，当先头排登上城头时，却意外地遭我支援炮火的杀伤，反而增加了登城部队和后续部队的顾虑，致使守敌趁我军犹豫之际，向我军猛烈反扑，我军伤亡很大，未能巩固突破口，二次攻城又告失利。
在攻打电灯公司之39旅方面，经过4天的苦战，和守敌、反扑之敌反复争夺拼杀，把敌第189团和补训第2团1个营消耗殆尽，又经2天坑道作业，30日爆破成功，一举攻占了敌核心阵地，全部占领电灯公司这个坚固据点。
然而，在城北，我8纵23旅和24旅分别攻打兴隆殿和北门附近之6号据点，都因轻敌，三次攻击失团三次攻打五号护城据点，都均遭失利。利，伤亡很大。最后虽攻占了兴隆殿，但因受敌城上火力压制，不能立足，又被迫撤出。太岳军区第41团23日晚攻占了城东北角之4号护城据点，并打退敌多次反扑，26日又失而复得，以后敌每天组织数次反扑，均被击退。而太岳军区第47在近10天的作战中，我攻城部队打得英勇顽强，得到了很大锻炼，但也暴露出不少问题，为了总结经验，以利再战，3月31日，“前指”召开团以上干部会进行研究，号召各部队认真总结经验教训，开动脑筋，多想办法，普遍开展战场总结和战场练兵。徐总强调指出，要继续解决步炮协同，战斗队形，小群动作，火力、爆破、突击相结合，坑道作业等战术技术问题。
4月1日，在重新调整作战部署后，我军集中兵力重点攻打东关，以8纵队23旅和13纵37旅这两个战斗力较强，有攻坚经验的老部队作为攻打东关的主力，并集中了全部炮兵进行支援。经过激烈的争夺，我攻坚部队终于控制了外壕，掩护了坑道作业。至9日，23旅由电灯公司向东关城墙下挖成4条爆破坑道，37旅也挖成两条，随即连夜装药，并按预定计划在10日16时开始总攻东关。
先经过2小时火力准备，23旅的3条坑道（1条备用未装药）同时爆破成功，炸开2个大缺口，突击队趁烟雾迅速登城，突入东关，迅猛向纵深发展。37旅则因坑道爆破未成，一部由23旅缺口突入关内，一部由先前38旅所开的缺口强行登城，经过激战，直捣阎军66师师部，11日凌晨结束战斗。除师长徐其昌和少数残敌逃入城内，大部敌人被歼，东关被我军占领。
6、 “土行孙”战法大显神通
攻克东关后，战役进入第二阶段——攻占主城战斗。但由于主城外有深沟高碉，不夺取外壕，主城仍“固若金汤”。
鉴于此，“前指”在4月15日作出决定：首先从城东、城南两面攻占外壕，挖好破城坑道，做好爆破准备，占领登城有利阵地，而后再发起总攻。徐总还一再叮嘱部队：“坑道战是当前我攻坚的主要手段。我们的炮火弱，要实行‘土行孙’的战法，钻到地下去。”必须用这种手段夺取和“控制外壕，以保证破城坑道作业”。
19日，“前指”发布命令，以13纵在南门至城东南角地段，8纵在东南角至大东门地段，太岳部队在大东门到东北角地段，夺占外壕和护城据点，选点挖掘破城坑道。
同时，为了控制外壕，使我破城坑道逼近城墙，我亦在外壕壁上挖成与暗堡、掩蔽部相通的暗道，依托部队共挖了15条破城坑道，为保护这些坑道的安全和争夺坑道斗争的主动权，在主坑道两侧和上方，又挖了40多条掩护坑道。暗堡、掩蔽部不断地出击，炸敌暗堡，堵敌暗道。在此期间，我攻城挖掘坑道的斗争是相当艰苦的，除了要和缺氧、地下水、照明及保持方向、水平、距离等困难斗争外，还要同敌人的破坏作斗争。梁培璜自从在东关吃了坑道爆炸的苦头后，便更加狡猾，急忙组织了反坑道部队。还在城墙脚下及外壕外沿，里里外外都设有听音缸、听音哨，侦听地下动静，并挖了“Y”字形和“T”字形的破坏坑道和听音坑道，只要发现我军坑道位置，就马上爆破、放毒，同时以地面的偷袭、出击，破坏我军坑道口；以飞机、炮火和从城墙上往下投手榴弹封锁、阻挠我军坑道作业。致使我军破城坑道被敌炸毁10多次。
但是，由于我作业部队发扬了机智、英勇、顽强的战斗作风，以掩护坑道主动寻找敌人，先机爆破和设计欺骗引诱敌人爆破，又采用无声作业法和转向、绕道等方法避开敌人，最终还是取得了日见功效的成果。
就这样，敌炸我，我炸敌，敌炸我挖，炸了再挖，在这种对挖、对听、对炸的极其复杂、紧张、残酷、激烈的斗争中，我英雄的部队，以坚强的意志，惊人的毅力和无畏的精神，以手指代替锨镢，用两膝代替双脚，用弹药箱代替小平车，经过72昼夜的搏斗，终于在5月15日挖成了三条各长110余米的破城坑道，死亡之神直通临汾城墙底部。
在“万事俱备”之后，“前指”决定5月18日发起总攻，突破口选在大东门南北地段，以8纵（欠第22旅）在大东门以北地段突破，太岳军区44团和41团1个营为2梯队；以13纵37旅在大东门以南地段突破，38旅为2梯队；以22旅、39旅、太岳47团在城西堵歼溃逃之敌（原在河西的吕梁军区部队和太岳军区的3个团5月初奉命北调，河西由22旅接替）；太岳其他部队在城南、城北助攻。