应该说，从资金运作的角度看，史玉柱早就应该让巨人大厦停工了，如果将资金投放于已染上贫血症的生物工程，使其恢复元气，“丢车保帅”或许能使整个巨人集团赢得生存的机会。事后，史玉柱说，他是明知故犯，因为巨人大厦是珠海的标志性工程，国家领导人都非常关注，所以他在决策的时候，非经济因素占了上风，没有过多考虑经济规则。
“福无双至，祸不单行”，老天也好像是和史玉柱成心作对。巨人大厦非常不巧地建在3条断裂带上，为解决断裂带积水，大厦支柱必须穿越40~50米的砂土而达到岩石层，这一项就多投了3000万，为此，大厦的桩基之深竟然达到了65米。其间，珠海还发生了两次水灾，大厦地基两次被泡，整个建设工期耽误了10个月。
在1996年6月1日的巨人集团办公会议上，史玉柱已经对巨人的干部宣布了。他认为，巨人大厦已经取得了突破性的进展，负责施工的中建五局已经进场施工。在这之前，因为资金原因，施工曾中断了比较长的一段时间。预计在8月1日可以做到正负零（所谓正负零，是指有地下部分的建筑，施工达到了图纸要求的水平面，即完成了地基部分，即将开始建筑地下部分的建设）。达到正负零之后，资金方面基本放松，当月可以还清840万的施工费用；新的施工队负责备料款，地下室估计1100万元。巨人前期只需要支付300万元，1层到11层按50%支付，即到年底一共要支付2000万元。他觉得，这个数字问题并不大，按照4~6月份的保健品恢复程度来看，能够应付2000万元的需要。而1997年，资金可以从银行去贷，大约需要1.5亿。
这就意味着，在1996年巨人大厦建设资金，完全依赖于保健品的销售。而且史玉柱已经这么做了。在1996年5月，各个子公司交到总部的回款2570万元，史玉柱将其中的净利润850万元全部投入了巨人大厦。这是投放资金最高的一个月。
既然巨人大厦的资金来源全系于营销，巨人营销集团就成了任务最重的一个部分，营销不能有丝毫闪失。为此，史玉柱又一次开始调整营销体系。
首先，把营销集团的关系理顺，人事权放给营销集团，财权也基本放给营销集团；其次，每月回款扣除成本，包括制造成本、增值税和基本工资等，毛利由营销集团和巨人集团之间分账，工资实行年薪制，交给巨人的越多，工资越高。公司建立经理责任制，成熟一个，改造一个。为了能够保证营销集团改造工作顺利开展，史玉柱让易政以集团副总裁的身份兼任营销集团总裁，以便于充分协调营销与财务工作。
这是一个与以往思路都不同的方案。自北大方正的楼滨龙担任巨人集团总裁失利之后，史玉柱历次管理方面的调整，主要思路都是打着军事化管理招牌的权力高度集中，其间的差别只是表面上的差异，本质上只不过是觉得一拨人干不好，洗牌重来，再让另外一拨人用同样的方法去做事情而已。最终能够拍板的，还是史玉柱。由于所有的权力都集中在总部甚至是史玉柱手中，下面的分公司、子公司和员工只是单向地执行总部的指令，这样一来，远离市场的总部在反应和指挥上都有很大问题。这也是以前的管理调整均以失败告终的原因。
但这一次，史玉柱已经意识到了营销体制和营销政策的不利之处，决定给营销集团松绑，以便营销集团能够放手经营。
不过，史玉柱始终没有考虑拖欠代工工厂的加工费如何解决，而能不能解决这个问题直接会影响到整个巨不肥的销售。而且，1996年3月至5月出现的巨不肥销售高潮，其最主要原因并不是市场回暖、管理改善、营销策略得当；最直接的原因是在3个月的紧急状态下，透支集团和员工财力、物力、精力而取得的“昙花一现”式的成绩。果然，3个月的紧急状态一结束，6月份还依靠惯性回款1571万元；7月份就跌到了813万元，是历史最低点；8月份相差无几，为893万元。这个时候，巨人已经完全回天无力了。
在巨人财务困难重重的时候，史玉柱始终不愿意放弃巨人大厦。在1995年“三大战役”失败之后，“秋季战役”开始之前，9月7日珠海市市委书记、市长梁广大还曾亲自到巨人大厦工地视察。梁广大希望巨人大厦的建设顺利进行，争取早日投入使用，并且放下话，将大力支持大厦工程建设。不知道梁广大的这句话，是不是史玉柱一直到最后几近“弹尽粮绝”地步仍坚守巨人大厦的原因之一。
除了梁广大，还有来自更高级别政府官员的希望。1996年3月，当时有消息传出，说李鹏总理将到珠海考察，因为每次李鹏到珠海都要参观巨人，巨人集团内部普遍认为这一次也不会例外。王育曾记述道，有人给史玉柱看过相，说史玉柱太瘦，要有一个胖一点的人相佐，但史玉柱周围干将基本没有胖的，人们就认为这个贵人一定是李鹏总理。在巨人已经身陷困境的时候，李鹏的到来或许会带来好运。
4月2日，视察巨人的中央领导到达了巨人集团，但不是李鹏，而是副总理李岚清。由于史玉柱出差不在，就委托财务总监李宏出面接待。李岚清副总理下车后，握着李宏的手说：“受李鹏总理的委托，来看望大家。”
同以前来视察的各位中央领导一样，李岚清参观了巨人的展厅和集团总部二楼的开发室。这一次李岚清参观巨人，没有像李鹏第三次参观巨人那样引起媒体关注，只是《珠海特区报》上刊登了这个消息，其他媒体鲜有关注。相反，不少人开始猜测李鹏总理到了珠海为什么不去巨人集团，列举出的原因有巨人的债务危机影响形象；巨人员工投诉巨人拖欠工资、加班加点；港人投资巨人大厦失败，影响回归信心，等等，不一而足。
王育记录了他所知道的原因：李鹏到达珠海的确有意再次参观巨人，他很关心巨人的现状，并且已经知道了巨人的一些困难。但因为这个时候访问巨人太敏感，容易引起议论，经过劝说最终放弃了。4月1日，李鹏又提起访问巨人的事情，最后，决定由李岚清副总理以受委托的形式到巨人看看。
至此，巨人期待的“好运气”最终没有到来。与此同时，竞争对手、合作伙伴对巨人的起诉也在此时达到了高潮。
在巨人集团推出的保健品中，有一种儿童开胃的“巨人吃饭香”，不但把娃哈哈的著名广告词“吃饭就是香”改头换面为“吃饭香”的专用商号，而且还在其宣传册中用类比的方法诋毁竞争对手：“据说娃哈哈含有激素，造成小孩早熟，产生许多现代儿童疾病。”娃哈哈方面称，巨人此举致使娃哈哈的产品销量自1995年下半年和1996年上半年持续出现负增长，所以依据不正当竞争法，娃哈哈向巨人集团索赔损失，并要求巨人集团在全国和各省市主要媒体向娃哈哈赔礼道歉，清除不良影响。
最后，巨人副总裁三赴杭州，双方终于达成和解。巨人停止作“吃饭香”的产品宣传；双方召开联合新闻发布会，巨人向娃哈哈正式道歉，并提供巨人大厦26层一间50平方米的写字楼作赔偿，诉讼费和专项费用25万元由巨人集团承担，巨人集团从香港公司付出等值港币。史玉柱与宗庆后双双出席了新闻发布会，并共进晚餐，握手言和。
这一道歉风波，成为巨人大滑坡的又一标志性事件。
后来，娃哈哈公司见巨人大厦盖成无望，又通过杭州中院查封了已被IPC案查封的巨人总部大楼的部分面积。
新加坡IPC公司与巨人的合作因双方对工业的态度有分歧而友好分手，当时双方约定由巨人代售的一批电脑以巨人大厦副楼的相应面积抵偿。眼看巨人大厦交楼期到了，巨人大厦的副楼还未动工，IPC急了，一纸诉状递到珠海市中级人民法院，并提出诉前保全，法院就把巨人集团的总部大楼给查封了。从此，巨人集团就开始在被查封的大楼里办公。
保健品市场的残局已经无法收拾，而在史玉柱“三大战役”的电脑战场，也同样是一败涂地。巨人员工因贩卖微软的盗版软件而被告上法庭，判决结果为巨人赔款50万损失给软件巨头。有些得理不饶人的微软趁机大造舆论，想以此为它在中国地区的事业开展铺平道路。作为国际新闻，这一事件被中央电视台新闻联播进行了报道。曾经显赫一时的巨人顿时声名狼藉。
这些对巨人的遭遇来说，还不算上大事件，直到后来厂库被封、大库被封、总部被封的消息不胫而走时，混乱局面开始搅得人心惶惶。趁乱逃走的员工们或私自截留货款，或直接卷款走人。一时之间，分身乏术的史玉柱不禁感到了一种前所未有的悲凉。面对如此局面，史玉柱除了组织全国分公司经理和总部中层以上干部参观广东省高明市重刑犯监狱之外，也只有轻声嘘叹：风声鹤唳，易水萧萧。
4回天乏术，拯救行动失败
从1996年下半年开始，巨人集团进入了“还债期”，这之前欠下的管理制度、公司战略、财务安排上的“债务”，都开始向巨人步步紧逼，表现形式则体现在所欠的金钱债务上。
王建重回巨人集团之后，曾对巨人集团的债务进行过统计。债务主要由几部分构成，包括加工费欠款、采购原材料欠款、广告费欠款、运输费欠款、《巨人报》以及巨不肥推广时所印报纸的印刷费欠款、税金拖欠和房租欠款（各地分公司租赁费），总计有200多户债权人，总金额为5300万元，其中加工费欠款）包括包装印刷）占了90%，而这里面巨人生物公司的欠款又占了90%。
这些债务已经引发了不少官司。截止到1996年6月14日，发生的针对巨人的起诉案件已经有49起，标的金额为2800万元，其中已经结案的有23件，结案标的1300万元。
这些债权人大多是小业主，正因如此，他们讨债的方式和一般老百姓无异。他们选择上门静坐、苦苦哀求、破口大骂、托人说情、写信上告等等方式。其实从1996年初开始，这样的讨债事件就屡屡出现，但一直没有得到解决，也没有得到史玉柱的重视，他历次开会调整巨人政策的时候，都没有涉及到这一点。王育曾半开玩笑地写道：“史玉柱一直忘了怎么解决生产的欠款问题，仿佛那不是他直接造成的，他可以不管。”
半年多的债讨下来，债主之间都相互熟悉了，这让债权人结成了一个共同体。相对于单个的债权人，有组织地讨债对巨人集团来说有更大的危险。
1996年6月21日，这些债权人相约到巨人集团总部集体静坐。他们一大早来到巨人总部的大堂，在休息区的8张圆桌旁坐下，还自己带来了整箱矿泉水。由于以前多次讨债都没有结果，这一次债权人要求见史玉柱，要求必须给出一个还钱的答复。
经过一番协调，王建以20~30天后给出一个完整的还债方案的条件，暂时解决了这起静坐风波。
这一天，史玉柱全天都在公司，通过他办公室的监控显示器看到了静坐的整个过程。当天晚上，他宣布清欠小组归王建管理，专门负责清理这些债务，最后定为“分期偿还”。
如果说这些生产上的欠款史玉柱还可以应付的话，那么另外一笔“债务”，却足以让史玉柱和巨人身败名裂。
从1996年8月16日开始，巨人集团需要面对当初购买巨人大厦楼花的消费者，因为第一单楼花成交是在三年前的1993年8月17日。按照当初巨人集团对消费者的承诺，三年到期就要交楼，如果楼花持有者不要楼，巨人集团还要按照“100%回报”退给楼花持有者相应的钱款。
由于巨人大厦的土地作为资本金计入了巨人集团的注册资本，所以巨人集团无法同巨人大厦脱钩；而当初出售楼花的又是巨人集团，因此，巨人集团必须要交楼，或者加倍退款。但是，这两样巨人集团都无法做到。
在8月16日楼花到期的时候，巨人大厦还是一个“巨人大坑”，直到1996年9月11日，巨人大厦才冒出地面，因此，交楼根本无从谈起。而加倍退款，当初仅国内消费者就买了4000万元的楼花，加倍退还的话就是8000万元。想想，连5000万元的加工费欠款巨人尚需要制订一个“三年还款”计划，那么，8000万元是怎么也拿不出来的。