翼城整训，目的是为攻坚临汾进行政治上、军事上、物质上的全面准备。徐向前强调：今后我们的作战任务，主要是攻取大城市，肃清内线敌人的据点，配合外线进攻。因此，必须根据朱德总司令的指示，把晋冀鲁豫的部队培养成为专门的攻坚部队，形成无坚不摧的铁拳头。解放临汾是本区春季攻势的第一个战役计划。这一计划的实现，将有力配合我西北和黄河以南野战军的作战，使晋南完全解放，与晋两北解放区连成一片，更加孤立山西境内的敌人。对于能不能攻克临汾这样设防坚固的城市，徐向前分析认为“是有胜利把握的。”就敌人方面而言，一是“已丧失了守城信心。敌人内部不团结不统一，临汾城的敌人，有胡宗南部队，有阎锡山部队，还有土顽部队，他们部队矛盾重重，互相摩擦、抵消。”二是“敌人是孤立的，四周被我们解放区军民紧紧包围着。敌人要想来援，是比较困难的，只有北边是唯一可以来援的方向。如果敌人来援，正是我们欢迎的，我们就打援，在野外消灭他。”三是“临汾城内的敌人，总计不过二万五千来人，而且也受过我们的打击。临汾的工事，同运城差不多，可是临汾城的四周，比运城大得多，这也是便于我们突破的。”就我方来说，“内部是统一的，士气是旺盛的，我们有全边区三千万人民的支援，我们的兵力比敌强。”徐向前分析后指出：上述这些，“只是解决问题的根据，要经过战斗才能解决问题。”所以，为更好地解决这一问题，为达成这一作战目的，各部队必须结合作战任务的转换，搞好针对性训练，以确实提高攻城所必需的技术、战术。如土工作业、坑道作业、爆破作业、攻打碉堡等。对于军事训练，徐向前认为，只有苦练才能出精兵。一支能在战场上过得硬的军队，必然是平时训练有素的军队。兵不练不精。平时稀稀拉拉，缺乏严格训练，战时势必“放羊”，吃败仗。尤其是我们人民军队，长期在装备上、数量上处于劣势地位，要想战胜敌人，就更要坚持经常、严格、刻苦的训练，从提高部队的质量上作文章。他深有体会地说：“部队的士兵和干部训练好了，仗就可以打好，可以减少伤亡，就可以取得胜利。部队训练不好，仗就打不好，就会增加部队的伤亡，战争就会失败。”关于练兵的内容，他概括为：一练胆量，二练技术，三练战术，四练行军，五练作风。这几项是基础的东西。拿练胆量来说，一个新兵，没有攀过高，没有履过险，没有走过夜路，没有见过刺杀，没摸过枪炮，上来就先打仗，哪会有多大的胆量？心里不打哆嗦才怪呢。因此，练兵，首先要练胆。战术和技术素养，更是如此。不练习扔手榴弹，能投得远、投得准吗？不练习瞄准射击，能弹无虚发吗？不练习刺杀动作，能白刃格斗吗？不懂利用地形地物，不会修筑堑壕工事，能隐蔽自己，保存自己吗？“艺高人胆大”。战术和技术过得硬，反转来又是增强人的杀敌胆量的动力。平时只有严练苦练勤练，真正掌握一套克敌制胜的过硬本领，战时才能临阵不慌，化险为夷，减少流血牺牲，以小的代价换取大的胜利。而针对临汾攻坚战的特点，徐向前更加注重战场练兵和阵地练兵。他指出要注意充分发挥群众的积极性和创造性，使全体指战员智勇双全。我们部队英勇顽强有其光荣传统，但由于狭隘的经验主义作怪，根据敌情、地形、任务和我们的技术条件研究战术就比较差，结果勇猛有余而智谋不足，打仗凭人多猛冲，以完成任务，形成部队的严重伤亡。所以，在练兵中一定要贯彻兵教兵、官教官、官教兵的群众路线的练兵方法，发动大家想办法以贯彻战场练兵。实践证明，哪一个部队真正能够发动群众，开展军事民主，实行群众路线，哪一个部队的战场练兵就搞得好，有成绩，有创造，领导上感到无法解决的问题也能得到解决，否则就往往徒具形式，成绩极小。为要贯彻战场练兵的群众路线，徐向前强调一定要克服两种偏向，一是不相信群众，不去发动群众；二是听任群众自流，不加领导，结果战士们想了办法，干部不理会，也未集中起来、贯彻下去，使想办法脱离实际。克服的办法首先要使领导与群众结合，干部要领导群众想办法，把群众的办法集中起来贯彻下去，这样提高干部的指挥能力，也提高了部队的战斗力。其次干部要发扬民主，虚心接受群众的意见，特别是在评指挥、评伤亡等方面应该不计个人得失，虚心接受群众的批评和正确的意见，以改善指挥，要懂得这是关系战斗胜败和每个同志生死的大事。特别要提倡指挥员多用脑子，并发动群众想办法以搞好指挥，就是战术爱兵。为增强攻城效果，徐向前指出，要发挥战斗互助组的作用，培养在坚强相助基础上的人自为战的独胆英雄。过去部队惯于群胆作战，以人多势众壮胆，结果作战堆积一起，不讲队形，伤亡很大。而现在，我们攻坚战术要求单兵爆破、小组突击、火力掩护三者密切联系，以减少伤亡。经验证明，往往一个碉堡的攻克，一个战斗的打好，决定于一个小组在决定性时机的作用。所以，必须要培养坚强的战斗互助组和人自为战的独胆英雄。要解决这个问题，徐向前要求：一、要把这个问题提到战术爱兵的原则上来看。发挥战斗互助组作用和独胆作战就是要在战术动作上力求疏散队形，避免伤亡。二、这要与勇猛顽强、机警灵活相结合，要从这两方面的结合去训练。三、必须认真检讨过去“赶羊战术”的危害，克服这种错误的战术思想和办法。另外，政治工作必须采取有效的办法，对部队进行深刻的教育，使大家明了坚强的战斗互助组和独胆作战的好处，树立敢于独胆作战的思想，学会独胆作战的办法和切实加强互助组的作用。徐向前就如何搞好战前训练和战前搞哪些训练的指示，对部队在临战前搞好有针对性的训练，起到了重要的指导作用。
随着整训的结束，徐向前的攻城方案也已形成。具体部署是：以原集结在洪洞、赵城一带同蒲路两侧的太岳一个旅、吕梁两个旅担任防敌北窜、相机打援的任务；以吕梁部队一部位于汾河以西，牵制城西守敌；以第八纵队位于城南，第十三纵队位于城东，太岳部队位于城北，扫清外围，三面攻城。如果晋中方向敌人来援，则以一部兵力围城，调动主力北上打援，而后回师解决临汾之敌。为执行好这一作战计划，要求各部队的作战行动要隐蔽、神速、果敢、坚决，保持战役战斗的突然性：力争在城外大量歼敌，以减少攻城阻力；机动指挥，讲求战术，步炮协同，军民合力，一举破城歼敌。整个战役预定3月10日发起攻击。
3月6日，徐向前向中央军委报告了自己的作战计划：“八、十三两纵队及太岳部队，攻坚训练与三查、民主运动，最迟者可于八日以前全部结束，决按原计划，十日开始行动。第一步，先扫清临汾外围之敌，作攻击城垣准备。如此时晋中阎敌南援，决先歼之于霍、赵间，再攻歼临汾敌。如晋中敌迟疑，一切攻城准备已完成，即拟一举攻克临汾，再向晋中发展”。此计划上报后，徐向前还未接到中央军委的复电，就收到了敌情通报：今天清晨，胡宗南偷偷派来一队大型运输机，在临汾城南的尧庙宫机场降落，接运三十旅，已将旅长尹瀛舟及约一营人运走了，明天还要来飞机继续空运。根据新的敌情，徐向前当机立断，决定提前攻打临汾。具体部署是：第八纵队立即出发，以急行军于明晨天亮前赶到临汾城南抢占机场；太岳部队全部出动，以急行军于明晨到达临汾城北，与第八纵队配合，以向心合围的态势逼近城郊；第十三纵队完成河西歼敌任务后，迅速移河东向临汾城郊压缩包围，吕梁部队控制汾河以西，监视敌人和担任打援。主力部队接到命令后，连续10小时的急行军，行程130里到达尧庙宫。按原攻城方案，已集结在浮山、大阳镇以西的第八纵队第二十四旅，首先打响了抢占机场的战斗。当时，10架飞机已经降落，敌军正在列队等候上机。突然发起攻击的第二十四旅，集中火力先打敌机，有2架敌机被击中，其余8架敌机没等停稳又慌忙在跑道上滑行起飞逃跑了，准备乘机撤走的毫无战斗准备的敌军也被打得东逃西窜，溃不成军。遂后我军完全控制了敌机场。胡宗南的空运计划被粉碎了。第十三纵队于5日西渡汾河，对出扰襄陵、汾城地区的阎锡山第六十六师等部，实施奔袭，歼敌一部，其大部回窜临汾。与此同时，太岳军区部队也从北向南逼近临汾，经过3天的战斗，各部队按指定位置完成了对临汾城的合围。
徐向前根据在扫除外围警戒阵地的过程中以及实地侦察和从俘虏的口供中获悉，临汾城南不易登城，且登城成功以后也不易向纵深发展。相比较而言，城北地势较高，利于我组织攻城突破行动，便于兵力及火器展开。针对这一实际，徐向前决定调整攻城兵力部署，将原来的分东、南、北三个方向实施进攻的作战方案，改为由城东、城北两面实施主攻，城南为助攻。具体部署是：第八纵队第二十二旅及太岳军区部队两个团，配置在城南实施助攻，以积极的攻城行动牵制敌人：第八纵队第二十三旅、第二十四旅，配置在城北，向兴隆殿8号碉等据点实施主攻；第十三纵队配置在城东，向东关、电灯公司据点实施主攻。太岳军区4个团配置在北门东段地区，以积极的行动对4号、5号碉实施攻击，尔后由此登城。
攻城作战开始了，各方向的各部队按计划发起攻击。第八纵队第二十二旅第六十四团、第二十七旅第六十七团，在西赵村、荣市村一线，击退敌第三十旅第八十八团及第六十六师第一九六团各一个营的兵力的三次反扑。太岳军区第四十六团向玉皇顶的守敌保安第十五团一个营实施攻击，并抢占了该阵地。第十三纵队第三十八旅攻占敌崔家圪塔据点，并再次攻占黄土堡据点。第十三纵队第三十九旅攻占了临汾火车站。太岳军区以第四十一团攻取4号碉，第四十七团攻取5号碉。各方向战斗异常激烈。
4号碉，位于临汾城东北角护城壕的20米处，高处地面5米。其所占面积，东西长30米，南北长20米，上面有圆形的主碉一个，高10米，周围有暗堡、明堡各6个，两道外壕各宽8米，深5米，铁丝网2道。该碉离城墙80米，是护城的主碉之一，东距3号碉300米，西距5号碉500米，各碉相互掩护，相互依托。太岳军区根据徐向前的指示，决心用坑道爆破的手段攻占4号碉。第四十一团采取昼间分配地段，夜间全团排两路纵队，静悄悄地挖掘交通壕，向敌人阵地的前沿推进。约3个小时，交通壕就基本完成，尔后又用树杆、门板及泥土覆盖壕顶，第四十一团只用一个夜晚就接近了4号碉，部队的一切战斗准备都在壕内秘密进行。负责攻打5号碉的第四十七团也通过采取挖掘交通壕的办法，推进至敌前沿。以坑道爆破的方式向4号碉、5号碉发起攻击，由于爆破方法不当，爆破效果不好。攻击部队消灭敌人一部，并夺占了敌部分阵地，对失守阵地，敌人组织了疯狂的反扑，经反复激战，夺占了4号碉，而5号碉则攻击未果。
3月31日，临汾战役前指召开了团以上干部会议，徐向前在总结前期攻城作战的经验教训的基础上指出：攻坚战斗，是一个不痛快的艰苦战斗，必须细心调查研究敌情工事，必须周密组织战斗。关于攻坚的手段，徐向前讲，坑道是对付敌人的最好手段，他问各位读过《封神榜》这本书吗？他说书里的土行孙，本事大着哩，他能钻到地底下挖洞子，然后钻进城里去，那么我们为何不可以学土行孙的战法，挖掘坑道炸城墙呢？我们要克服急躁情绪，稳扎稳打。下一步，就不再采取多面攻击了，而是集中全力拿下东关，挖坑道爆炸城墙，取得经验，再集中全力攻本城。同时，徐向前向与会干部发出了“英勇杀敌，争当临汾旅”的号召。
根据作战决心的转变，徐向前重新调整了部署：第八纵队主力第二十三旅，由东关东北面依托电灯公司攻东关城（即为右翼突击队）；第十三纵队主力第三十七旅，由右翼突击队左翼向东关城实施攻击；太岳军区部队配置在挂甲屯、火车站一线，控制城垣的外壕，扫清登城障碍，保证破城坑道作业的安全。前指决定集中全线的82迫击炮以上的火炮掩护攻击。规定务于4月10日攻占东关城。