美军观察组的活动一开始就受到蒋介石的敌视和美国政府内坚持反共立场的人物的反对，而且罗斯福的言论和行动也不表明他会单方面支持共产党人。1944年9月6日，在蒋介石的要求下，反共的共和党人赫尔利被任命为美国总统的私人代表，来到中国。
蒋介石与史迪威之间的矛盾越来越深。当美蒋成立了四个方面军及预备方面军时，史迪威要求将军以上、至少集团军以上的中国将领一律撤换，改由美国军官担任。蒋不同意。史对蒋威吓说：“如不撤换，中国军队就不能对日反攻。美械以后也不再装备蒋军，而装备八路军和新四军。”蒋介石一怒之下，再次致电罗斯福，坚决要求调回史迪威。
大约是10月中旬一天，赫尔利被蒋介石请到重庆南岸的黄山别墅，说是共度周末。赫到时，蒋介石正在山顶他的住所里睡午觉。赫尔利就在杜建时的陪同下，走进山坡上一栋名叫老草房的客厅里休息。过了一会儿，史迪威在国民党中将参军朱世明伴随下，也走进老草房，彼此寒暄几句，史迪威就拉着赫尔利走到里面一间房里去。杜建时和朱世明仍然坐在外面客厅里，隐约听到赫尔利说“不行不行”。杜建时问朱世明：“史迪威也是应邀来别墅度周末吗？”朱世明回答：“不是。史迪威要求见蒋介石，蒋召他来的，大概谈完话就走。”
4点钟时，有人来请史迪威、赫尔利上山顶。当他们走进山顶客厅时，蒋介石已在客厅里。史迪威沉着脸向蒋介石说了几句很不自然的客气话之后，从口袋里掏出一封信来，他说这是罗斯福总统给委员长的一封信，随后将信递给朱世明。朱刚刚把信抽出来，蒋介石一眼扫见信的下面有中文译文，他好像已经知道信的内容似的，勃然色变，一把从朱世明手里把信抢过去，仅仅看了两三眼，就把信放在桌上，仰着头一言不发。
房间里像坟墓一样沉寂。双方都不说话。
后来还是史迪威先开口对朱世明说：“你问问委员长有什么指示没有？”
朱世明译给蒋介石听，蒋介石仰着脸看着天花板，不作回答。客厅里的气氛紧张到极点。又挨过几分钟，史迪威对朱世明说：“我办公厅桌上堆着很高的公文等待我批阅，委员长如没有什么指示，我就回去了。”
朱世明又翻给蒋介石听，蒋介石仍然不理。
这时赫尔利插嘴说：“事情需要考虑，我们告辞吧。”
杜建时刚把这句话翻给蒋介石，蒋介石就站起来向赫尔利望望，勉强对赫微笑一下说：“好吧，我们回头再见。”在史迪威和蒋介石全部谈话时间内，蒋介石没有看过史一眼。回到老草房的客厅后，史迪威和朱世明就走了。临行时，史的面色自然很难看。
老草房的客厅里，只剩赫尔利和杜建时。按照常规，他两人要到山顶上和蒋介石一同进晚餐。那天却不同了。6点钟的时候，蒋纬国来到了老草房，对杜建时说：“我父亲今天不舒服，赫尔利先生不要上山吃饭了，就在老草房用餐吧！”
饭来了，赫尔利带着沉重的心情坐在饭桌旁，叼着香烟，摆弄他的刀叉，很久不想吃饭。杜建时和他开玩笑：“吃饭吧！吃饱了，有精神，问题就容易想通了。”
赫尔利说：“我们做了一件不应当做的事，把事情搞复杂了……麻烦……麻烦。”接着又说，“史迪威硬得很，本来问题就不容易解决，问题再加上问题，就更不容易解决了。华盛顿把蒋介石看得太简单，把解决中国的问题看得太容易，才做出这样的错事。”
第二天，杜建时才知道，史迪威带来的信的内容：罗斯福要求蒋介石把中国军事指挥权交给史迪威，来统帅中国部队对日作战。当天晚上，赫尔利给罗斯福发了一封电报。过了几天，史迪威的上校秘书刘耀汉告诉杜建时，他要随史去美国。杜故意问刘：“史为什么回美国？”
刘说：“史迪威和蒋介石搞不拢，蒋介石要求罗斯福调回史迪威。罗斯福接受了蒋介石的要求，已明令调史迪威回华盛顿。”
1944年10月21日，史迪威卸职回归美国。就在赫尔利和梅乐斯、陈纳德等人合伙挤走了史迪威，并宣称，他的主要目标是防止国民党政府的垮台和拥护蒋委员长的领袖地位，并使“两个敌对集团更接近于达成协议与合作的结果”时，赫尔利又信誓旦旦，要一举调处好国共关系。
蒋介石一再逼迫共产党人退让，令中间奔波的张冲急得要下跪。蒋介石只想让共产党人出席参政会为他捧场。可是直到会议开幕，并没出现任何一个共产党人的身影。