按照徐向前的部署，一场在我军战史上著名的“坑道战”拉开了序幕。第八纵队第二十三旅调整到临汾东关北角以北的康庄地区的西宛沟。旅长向第六十八团和第六十九团赋予任务：东关小北门以东，12号目标以西，是第六十八团的作战区域；12号目标以东，到东北角第二个突出部以西，为第六十九团作战区域。两个团的具体任务是：在控制外壕，的同时，都进行破关的坑道作业。坑道作业完成后，由工兵指导传装炸药和安装接续火具。根据前指统一命令实施爆破。爆破成功后即并肩登城，歼灭守敌第六十六师。之后，旅长又强调到：东关这一仗是一场硬仗，打下东关，就等于砸开了临汾的大门。这一仗，关系到临汾战役的整个全局，你们一定要奋力完成攻打东关的任务，做到旗开得胜。按照旅长的部署，两个团立即组织部队着手控制外壕，掩护坑道作业。作业的顺序是，首先要挖掩盖式交通壕，当接近城墙后，再挖掘坑道。在敌火力压制下，作业的难度和危险性都很大。但担任挖掘作业的各部队都能做到机智灵活，克服困难，奋力拼搏，按作战计划所要求的时间完成了坑道作业。4月19日，旅长指挥旅工兵连指导第六十八团、第六十九团向坑道里传装炸药，安放导火索和装置雷管。第六十八团挖掘的坑道安放了6000斤炸药，第六十九团挖掘的坑道安放了10000斤炸药。接着工兵安放导火索及接续雷管，为了防备雷管失效，每组雷管都有备份。4月10日，坑道爆破的一切准备就绪，旅长亲临临汾东关坑道，进行坑道爆破前的最后一次检查。临汾东关城墙瞬间就要“飞”上天空。下午4时，担任攻城突击的部队战斗准备完毕，担任掩护的各种口径火炮众炮齐发，担任直瞄射击的重火器将东城上残余火力点被完全封锁。6时15分，徐向前下达了坑道爆破立即起爆的命令，只听两声巨响，东关城墙被炸开了两个不规则的大缺口。其中，第六十八团爆破的缺口有25米宽，第六十九团爆破的缺口有57米宽。前指发出了攻城信号。攻击部队冒着坑道爆炸后的烟尘，分别向指定目标发起了攻击。经与敌反复激战，打退了敌多次反扑后，又向纵深发展进攻，直指新市巷、春牛巷以及东关大街南侧之范家胡同、郇家胡同等据点。虽然遇到了敌人的阻击，均被我攻城部队包围歼灭。与此同时，太岳军区第四十一团也采取坑道爆破的手段攻占了3号碉，全歼守敌一个连，又连续击退敌数次反扑，巩固了阵地。至此，临汾东关被我攻克。
徐向前马上召集各参战的团以上干部总结攻克东关的经验，决定以坑道爆破为主的战法，继续攻克临汾本城，并同时调整了部署：以第十三纵队由城南门以东地区，第八纵队由城东南以东地区，太岳军区部队由城东北地区，同时发起攻击，掩护破城坑道作业。
一场啃硬骨头的特殊战斗开始了。指挥攻城部队扫清战壕外沿的敌据点，从城东和城南挖掘多条坑道接近城垣，尔后爆破登城。徐向前对作业部队强调到：挖掘坑道是一场紧张、激烈而又十分艰苦的斗争。敌人在东关尝过“土飞机”的厉害，定会绞尽脑汁，加强反坑道的各种措施，这将要开始一场比顽强、比斗志的极其激烈的斗争，对此我们必须有充分的思想准备。
守城之敌为了破坏我坑道作业，调来飞机一次又一次地轰炸，东关几乎被炸成了平地，我第八纵队、第十三纵队、太岳部队刚挖开的坑道就被炸塌了，埋平了。坑道作业艰难地推进着。除此之外，守敌还采取以坑道对坑道的办法来阻止我军的坑道作业。然后用爆破办法进行破坏，以这种办法先后破坏我坑道十余处，使我军有不少的伤亡。为了破坏我军的坑道战术，守城之敌还要求太原派重轰炸机以重磅炸弹进行轰炸。
为粉碎敌人的破坏活动，保卫坑道安全掘进，敌我双方展开了以挖对挖，以听对听，以炸对炸的战斗，第二十三旅在主坑道两侧挖掘了十多条支坑道，多个支坑道中都有掘进组、监听组和战斗组。听到敌人的作业声，即主动接近敌人，先行爆炸。而主坑道则严格保守秘密，尽量减少声响，对坑道口和积土都采取了严密的伪装，同时加强监听，发现敌人对挖，主坑道拐弯绕开或以支坑道将敌人引诱过去。
临汾战役后，徐向前司令员（前右）检阅“临汾旅”。
坑道作业非常艰苦，不仅要与敌人的破坏作斗争，而且要与恶劣的作业条件作斗争。100多米长的破城坑道，向前延伸时，没有通风设备，越挖越是缺氧。战士每进洞一次，刨挖不久就得轮流出洞来吸收氧气，否则就会晕倒在洞内，甚至窒息。运土，开始用小车拖，到后来，坑道通过外壕，泥土太湿，车轮子难以转动，便以弹箱代拖车，战士们在洞内赤身露体来回爬行，以膝代脚，磨破膝盖，只好把棉衣撕成块捆绑在膝盖上，坚持作业。战士们自觉地认为，坑道作业好一些，战斗中的牺牲就能少一些，挖坑道多流汗，攻城战斗才能少流血。徐向前向军委报告说，此次攻击临汾，由于敌人的工事坚固复杂，附防御物、暗道、暗堡特别多，并且有二至三层外围据点和严密配系，我不得不挖掘交通壕，逐步推进，以坑道式连续爆破摧毁敌人的外壕及其主要阵地，为步兵扫清冲锋道路。4月28日，临汾战役前指召开团以上干部大会，徐向前在会上作了《围打临汾以来的几个问题》的报告。他在报告中，着重讲了攻坚战的认识问题。他说：攻坚是啃骨头，要求牙齿要硬要利，否则就啃不下来，如果碰到硬骨头，啃起来又费力又费时，而且还吃不饱，因此，攻坚战斗是非常艰苦的战斗，对于攻打临汾，徐向前概括地说，自3月6日开始临汾战役以来，在这几十天的紧张顽强斗争中，我们攻取了东关，歼灭了敌六十六师和杂顽大部，俘敌4000以上，毙伤敌4000以上，现在敌人援兵无望，突围有被歼灭的危险，守城信心更加动摇。但我们也要估计到，敌人只有死守一条路，必然作垂死挣扎，我们也只有坚决打下临汾一条路。所以，须要进行激烈的顽强的战斗，才能最后歼灭敌人而竞全功。如同运城战役一样，现在我们又到了“坚持最后五分钟”，发挥最后顽强性的时候了。徐向前的报告，对广大团以上干部是一种极大的鼓舞。
在临汾决战即将展开之际，傅作义纠合阎锡山突然出兵向石家庄发起进攻。4月30日，中央军委致电徐向前，要求“是否可以抽调两至三个旅北上，位于太谷附近威胁阎锡山军”。徐向前经过综合分析战场态势，当即报告军委，除召集军区彭、罗两旅外，再抽出太岳一个旅，统归彭绍辉、罗贵波指挥，北上晋中策应。为此，徐向前于5月1日对攻打临汾的部署又作了调整。
（一）十三纵队主力接替八纵二十二旅阵地（二十二旅留一个团，攻城前归十三纵指挥），由东城门楼以南至城东南角地段攻城，另以有力一部仍位城南地区，积极佯动，钳制敌人。
（二）十三纵与八纵战斗分界线为：东城门楼（南半部属十三纵，北半部属八纵）、东大街、鼓楼、西大街（三地均属八纵）、西城门楼（属十三纵），线上以南属十三纵地区，以北为八纵地区。
（三）八、十三两纵攻城部队，统一由王新亭、徐子荣、鲁瑞林三同志统一指挥。
除此之外，还要求各部紧急动员起来，抓紧时间进行准备工作，争取于5月9日前，完成总攻击准备。
紧接着，徐向前于5月2日又下达了总攻临汾的政治******：
临汾解放战已进入最后决定的阶段，我们不但必须打下临汾，而且完全能够打下临汾。现在是我们全体指战员争取最后胜利的时候了，打下临汾的胜利旗帜，已经在招呼我们前去夺取，我们每一个指战员都应该有充分的信心和决心，取得这面光荣的胜利旗帜。
经过了我们一个月的围攻打击，特别在我军攻占了东关和歼灭了阎军六十六师之后，敌人已经陷于恐慌崩溃的绝地，士气低落，普遍充满失败情绪，而且兵员不足，弹药粮草都极缺乏，虽有长期设防的工事，只要我们一旦突破，敌人便会土崩瓦解。无论从士气、从兵员、从炮火弹药，我军都占绝对的优势，打下临汾是完全有把握的。
但是，敌人为了作最后垂死挣扎，现在拼命阻挡我军进入外壕，拼命破坏我们的坑道作业，以免城墙被我军突破，形成目前最激烈最紧张的坑道斗争与外壕斗争。我们目前最紧张最主要的任务，就是要尽一切努力控制外壕，保护坑道，保证爆破、突击的成功。故我全体指战人员必须马上紧张动员起来，各人拿出自己全部的力量和智慧，坚决彻底完成上级所给的光荣任务。