刘伯承与邓小平研究后认为，各路援敌尚在行进途中，金乡之敌已无力北援。主力可以全部集中，完全有迅速歼灭羊山守敌的把握，于是决定继续攻歼据守羊山的整编第66师。他们指示攻击部队重新组织侦察，并调整了部署，以第2纵队一部由西向东攻击，第3纵队第7旅、第6纵队第16旅从北向南攻击，第3纵队一部由东向西攻击。各部加强炮火，着重夺取制高点。兵力上达到了我敌十比三的优势。
部署已毕，刘伯承、邓小平前往羊山集前线，向纵队领导传达了中共中央军委的指示精神，然后问他们到前沿察看了地形没有？几个纵队指挥员都说没有。刘伯承说：越是胜利越要细心谨慎，不能疏忽大意，更不能急躁。你们要亲自到前沿看地形，了解一下为什么攻不下来，跟下边指战员研究如何打法。总之，不能再拖了，必须尽快把羊山集的敌人歼灭。各纵队指挥员应命而去。第2纵队司令员陈再道、第3纵队司令员陈锡联都直接到阵地前沿勘察。陈锡联一下子跳进齐胸深的水壕里，测量壕沟的宽度和深度，布置部队备好过壕器材，并制订了具体的进攻方案。
经过细密的准备工作，27日晚对羊山之敌发动总攻。激战1昼夜，28日晚全歼羊山守敌整编第66师。
至此，晋冀鲁豫野战军主力，在鲁西南连续作战28天，歼灭国民党军4个整编师师部，9个半旅，共5.6万余人。俘敌整编第66师师长宋瑞珂、第70师师长陈颐鼎、第32师副师长理明亚以下4.3万余人，收复了鲁西南解放区，从而打开了千里跃进大别山的大门。
羊山集失守的消息传到开封，蒋介石恼怒异常。为了推卸责任，他以“行动迟缓，贻误戎机，纵敌殃民，陷害友军”的罪状判处第4兵团司令官王仲廉8年有期徒刑，遗职由罗广文接任。26日赶到商丘指挥的陆军总司令顾祝同，也灰溜溜地退回到徐州总司令部。
昼夜奋战28天的刘伯承，满怀胜利的喜悦和豪情，写下了他的著名诗篇：
狼山战捷复羊山，炮火雷鸣烟雾间。
千万居民齐拍手，欣看子弟夺城关。
9、 打羊山集刘伯承大发脾气
羊山之敌太难打。
2纵、3纵两个陈司令都打火了。
甚至，把刘伯承也打得有点伤脑筋了：“我就不信，我3个纵队就打不下你羊山1个整编师？！”
刘伯承要不惜血本，一举打下羊山！
自7月14日包围羊山已整整11天，刘邓野战军第2、3纵队先后于7月15日、16日、21日、25日对守敌发起4次进攻，但因守敌占据了羊山各个制高点，进行坚守防御，攻击均未能奏效，双方争夺十分激烈。六营集和万福河“围点打援”的胜利，使金乡之敌遭受了沉重打击而再无力北援。这样，刘伯承就可以集中全部主力，用绝对优势兵力迅速攻取羊山集。
然而，4次攻击的失利，使野战军指战员从上到下，急躁情绪不断上涨。
这可不行！
刘伯承冒着大雨来到了前线指挥部。
刘伯承直直地站着，眼睛盯着他的这两员虎将。
他取下帽子，往桌上有力地摔去。
“啊！司令员，这么大的雨，你还赶着来。快，快进屋里。”
陈再道、陈锡联两位纵队司令把刘伯承迎进指挥部那间小民房，端过一张椅子：“请坐，司令员。”
“我坐，我现在坐不下……”
这个不常有的动作，“二陈”当然知道：司令员要发脾气了。
“怎么打的？4次，4次！4次攻击，都打得那么蠢，那么蠢！”
刘伯承，额上青筋暴起，怒气冲红了那块20年前的伤疤；那张脸，已经被冷雨冲刷得没有一丝血色。
“歼敌三千，自损八百，作为一个指挥员，不但要负歼敌三千之责，也要负自损八百之责，懂吗？不能随便死一个人！”
“无论你是多大的指挥官，权威有多么大，一个口令能使成千上万的人向你立正敬礼，但是，没人赋予你让一个士兵作无谓牺牲的权力！”
“几千，我打了这么久的仗，我军官兵的死亡数，还从来没用过千位数来计算！可你们俩，你们俩……连死带伤，差不多就要用万来计算了，这还得了？！照这样下去，我们还要不要打到外线去，还要不要大反攻？！”
陈再道低着头，陈锡联也低着头，都半晌无语。他俩，何尝不是跟刘伯承一样痛心疾首？几千战士，几十名团、营、连指挥员，他们跟着大军从黄河那边打过来，都想看到大反攻的胜利，可是，他们却把年轻的躯体埋在了鲁西南的羊山沃土之中……
“司令员，把仗打糟了，责任在我。”陈再道说。
“3纵担任总攻，打羊山我是总指挥。处分我吧，司令员。”陈锡联说。
陈再道慢慢抬起头来，满脸羞愧：“根子在我们轻敌，打了几个胜仗，心里就有点骄傲和麻痹了，对宋瑞珂的66师，我们过低地估计了他们的防御能力，没有充分细致地侦察敌情和地形，就盲目发起攻击。第一次进攻，5旅说是打下了‘羊尾’，其实不过是几个小山包，还不是真正的‘羊尾’。一听到打下‘羊尾’，我就下令4旅凌晨冒雨向羊山集进攻，结果，天一亮，敌人居高临下，我攻击部队全部暴露在敌人的枪口之下，我部队形密集，遭到敌人机枪、炮火的严重打击，伤亡之重，我也忍不住掉泪了……”
说着说着，陈再道，这位刚毅的硬汉，声音哽咽了。
陈锡联紧接着说：“我们问题的症结在于，当了半月总预备队，眼巴巴地看到兄弟部队在郓城、定陶和六营集打了大胜仗，各级指战员坐不住了，也影响了我们3纵司令部求战心切的情绪，我没做好思想工作，助长了急躁、蛮干的思想，所以，在不了解敌情、工事也没筑牢的情况下实行强攻硬打，结果……”
“就凭你们一股蛮劲，硬打硬碰，是不是？！”
刘伯承反背着手，口里喘着粗气。
本来，他还有好多话要说，但他终于停住了。
站在他面前的两位老部下，从红4方面军长征开始，到懋功会师，到129师抗日，到三出陇海，两渡黄河……他太了解他们了。两位出生入死的老战士，人民军队出色的骁将，他们何尝不想百战百胜……
10、 盘点
刘邓率晋冀鲁豫野战军渡过黄河后，连续作战28天，歼灭国民党军4个整编师师部、9个半旅，共5.6万余人。其中俘虏4.3万余人。缴获坦克2辆、野炮12门、山炮52门，迫击炮等各种小炮700多门、机枪1483挺、长短枪13619支、汽车56辆和大批弹药物资。收复了黄河南岸的鲁西南解放区，粉碎了蒋介石的“黄河战略”，打乱了国民党军重点进攻的部署，有力配合了陕北、山东我军的作战。鲁西南28天连续作战，我军伤亡1.3万人，其中大部分死伤于羊山之战……
鲁西南战役的胜利，解放了黄河南岸广大地区和数百万人民，直接保卫了晋冀鲁豫边区黄河以北解放区，粉碎了蒋介石的黄河战略，开辟了鲁西南广大战场。迫使国民党从陕北、山东抽兵回援，打乱了敌人的战略部署，有力地支援了陕北、山东解放区军民粉碎敌人的重点进攻。同时，打破了蒋军强大的拦击计划，为我军跃进大别山，把战争引向国民党统治区开辟了前进道路。
1947年7月29日，中共中央为了表彰刘邓大军在鲁西南地区取得的辉煌胜利，通令嘉奖刘邓南渡大军。电报说：“自卫战争第二年第一个月作战，除我山东及各战场均歼灭敌人一部外，刘邓大军自7月2日到7月28日在郓城、巨野、定陶地区连续不停作战，歼灭敌人正规军9个半旅及4个师部，毙伤俘敌6万余人，战绩甚大，特此通令嘉奖。”
7月31日，新华社发表了题为《祝鲁西大捷》的社论，社论说：
鲁西大捷答复了蒋介石的总动员令；鲁西大捷答复了蒋介石的重点进攻；鲁西大捷答复了蒋介石的黄河阴谋；鲁西大捷答复了蒋介石的无耻造谣；鲁西胜利显现了南线反攻的伟大远景。
战役结束后的第5天，8月2日，刘伯承向新华社记者发表谈话时，对鲁西南大捷这样评述道：“我们这21天的战果，大略相当于去年下半年5个月内的总和，我军之愈战愈强，敌人之愈战愈弱，实已昭然若揭，不需再加任何说明，值得注意的是，蒋军上下士气消沉，现已更为明显，因此更容易被消灭。”（《刘伯承军事文选》，解放军出版社1982年版，第516页）
鲁西南战役的胜利，震惊中外。美国记者杰克·贝尔登以目击者的身份在《中国震撼世界》一书中写道：“我阅历过多次战争，但却从未见过比共产党这次和以后强渡黄河更为高明出色的军事行动。”它的高明出色之处，“主要在于对这一军事行动的构思——它的胆识、气魄、特别是它的创造性的想象力”。（[美]杰克·贝尔登：《中国震撼世界》，北京出版社1980年版，第446页）
黄河天险被突破，更是引起了国民党政府的极端恐慌。叫嚷要“立即采取军事行动，以戡平共产党的叛乱，否则全国即将为共产党所摧毁”。（《中美关系资料汇编》第1辑，世界知识出版社1957年版，第756页）