“我已把您对马歇尔夫人患病的问候向她转达，事实情况既令人可笑，又说明了这场宣传战用心之险恶。凯瑟琳只不过同蒋夫人去上海作了一次周末旅行，政府中的一些顽固政客就群起而攻之，其目的是在削弱我的影响，为他们消剿（共产党）战争铺平道路，要知道没有我们的援助，他们是无力开展这场战争的，他们在报刊上攻击我，说我与凯瑟琳吵翻了天，她一怒之下便离开了南京，我随即赶往上海接她，可她立即住院，而我则空手而归，如此等等。其实，她根本没有生病，也没有住院，而是同我和蒋夫人一起回来的。”伦纳德·莫斯利：《马歇尔》，解放军出版社，1987年，第408页。
还有一些材料宣传说：“凯瑟琳虽然年过花甲，但玩的兴致和热情可与年轻人比高低。在第二次世界大战期间，马歇尔将军不得不陪她经常逛剧院、电影院和其他娱乐场所。但马歇尔将军来到中国以后，忙得不可开交，没有时间陪她游山玩水，她便拂袖而去。”凯瑟琳看了这些完全不符合事实的报道，感到无比愤慨，但又无可奈何。
国共两党仍处于严峻的对峙状态，形势于蒋介石并不利。蒋介石自以为势力雄厚，不把人民解放军放在眼里，把战火从关外烧到关内，一时似乎占据了不少地盘。但国民党军队战线拉得太长，军队不够分配，士气低落，被歼不少。国民党军队所控制的城市中心，周围都布满了解放军的司令部。政治上，国民党继续实行一党专制，采取高压政策，工人罢工，农民抗捐税，学生反迫害的斗争风起云涌，民心都向着共产党和人民军队。经济上，军费开支庞大，财政赤字不断扩大，通货膨胀，物价腾飞，经济处于崩溃的边缘。
在国际上，从1946年起，美、苏矛盾日益激化，在东欧、伊朗、土耳其的问题上，双方矛盾重重，争夺激烈。丘吉尔3月5日所发表的“富尔敦演说”使本已紧张的东西方之间的关系火上浇油。中国的未来，成了美、苏争夺的一个重要筹码。美国政府制定政策的人们，以意识形态作为确定敌友的准则，把中共看成是前苏联的附庸，在国共双方的争执中，重心始终偏向于国民党。
在马歇尔的第二阶段调停中，不管他的出发点如何，实际行动上，则是以推行援蒋内战为主，促蒋停战为辅的双重政策。在援助国民政府方面，主要有：1946年4月29日，签署了美国派往中国军事顾问团的协定；5月，贷款1 500万美元；6月，答应为国民党提供大批空军装备；8月，把8亿多美元的剩余战争物资以低廉的价格售予国民党。另一方面，马歇尔仍在不断努力，促蒋停战。
1946年4～6月，内战焦点在东北，马歇尔的调停集中于国共两党军队在东北的休战。在这期间，由于国民党顽固地坚持解放军退出长春，而使谈判无所进展。5月6日，马歇尔报告杜鲁门说“前景不妙”。在第二天晚上的一次招待会上蒋介石对马歇尔态度冷淡，马歇尔觉察到蒋介石是在争取时间调动军队，进攻共产党。马歇尔对蒋坚持要共产党不断让步而感到不安。在马歇尔的斡旋下，从大局出发，共产党同意了蒋介石的要求，让出长春，但以国民党军队不进军哈尔滨为条件。但蒋介石出尔反尔，5月22日，在占领长春以后，继续向哈尔滨推进。5月26日，中共谈判代表周恩来向马歇尔提出，国共两党在东北境内“立即实行休战”。马歇尔感到国民党军队继续前进就意味着“我的公正立场就大成问题了”福雷斯特·C·波格：《乔治·C·马歇尔：政治家：1945～1959》，纽约，1987年，第11页。，于是发信给正在沈阳的蒋介石，要求在24小时之内国民党政府军队停止前进和追击。
6月3日，周恩来对最近国民党封闭共产党报纸的行动提出猛烈批评。在同马歇尔的坦率交谈中，他当面批评了国民党将领们“为所欲为，而美国则执行了两面政策”。由于国民党军队推进至松花江边以后，难以继续前进，这样，在马歇尔的调停和压力下，蒋介石同意在长春设立一个军调部前进指挥所，国民党军队停止前进10天。后在共产党和马歇尔的共同努力下，休战时间延长至35天。6月7日，东北休战协定签署。
正当国共双方军队在东北的休战获得实施的时候，国共两党的谈判于6月底破裂。7月12日，全面内战爆发。马歇尔的调停面临着全面破产。7月13日，他对国民党交通部长俞大维说：“如果进攻的军事行动有所发展，我将退出谈判。”在7月到9月间，他又八上庐山，与蒋介石面谈，并且重申他的目标是“促成一个统一的新生的中国，不是与蒋委员长的某些顾问所想像的那样——使共产党就范，而是相反”。
马歇尔又通过杜鲁门对蒋施加压力，并试图以停止某些援助来使蒋介石停止进攻。在他的要求下，8月，美国宣布对中国禁运武器和弹药。此项禁令到次年5月解除。9月，又暂停交付原答应给国民党用于“收复计划”和“中国空军计划”的装备和费用。但这时的国民党已有了充分的武器储备，暂时的局部的停止援助无碍于国民党军队的全面攻势。
马歇尔的调停事实上已经失败了。远在华盛顿的杜鲁门开始觉得马歇尔在中国呆的时间已经很长了，继续呆下去，可能会使马歇尔的国际声誉和形象受到损害。实际上，杜鲁门政府已下定决心，支持蒋介石打全面内战，只是不好公开说明而已。杜鲁门想把马歇尔召回，任命担任国务卿一职。他要前往远东太平洋美军基地视察的艾森豪威尔飞往南京，转达他的意思，看马歇尔是否接受任命。如果同意，就要他7月返回华盛顿。马歇尔向艾森豪威尔表示，他愿意接受杜鲁门总统的任命，出任国务卿一职。不过，他在9月之前还无法离开中国，他希望国民党政府与共产党之间终将能达成协议，实现在中国的和平统一。
但到了9月，和平看来已根本不可能，但马歇尔还是不肯承认失败。这是可以理解的。因为调停失败，于他的脸上并没有什么光彩，相反，只会在他的生涯中添上令人痛苦的一段回忆。
1946年10月下旬，为了打破僵局，马歇尔鼓励在国共以外的第三方面进行调停，频繁地与各民主党派人士谈话，主张“中国的自由主义分子应该联合在一个单一的自由主义的爱国党派之内”，使国共两党如得不到这个组织的支持，“就不可能采取有决定性的步骤”。但中国民族资产阶级固有的软弱性，使这些集团与人士无法组织起来，结成一个巩固的具有较大影响力的大组织。马歇尔的最后希望也破灭了。
与此同时，他与魏德迈这个“忠诚的”老部下之间的个人关系也经历了一场深刻的危机。
马歇尔刚到中国时，魏德迈就给马歇尔泼了一瓢冷水。他对蒋介石比较了解，但思想极其保守和顽固，极力主张美国政府不要进行调停，公开支持蒋介石政府打内战，甚至不惜美国直接出面干涉。在马歇尔调停的第一阶段，取得了与魏德迈预言相反的积极进展，魏德迈转而对马歇尔大加赞美。马歇尔相信自己的使命很快就会结束，美国政府应该任命一位新的驻华大使。杜鲁门请马歇尔推荐，马歇尔首先考虑的就是魏德迈，并且跟魏德迈打了招呼。这是魏德迈所钟情的一个职务，魏德迈还写信给赫尔利说：
“我深信，要不是有马歇尔将军的国际威望和身份，中共和中央政府代表之间的谈判就会破裂。换句话说，如果在以后一两年里调走马歇尔，他迄今为止的成就都无法维持，因为双方要拼个你死我活。”福雷斯特·C·波格：《乔治·C·马歇尔：政治家：1945～1959》，纽约，1987年，第106页。
马歇尔从美国来到中国以后，全力以赴进行调停，事态有朝好的方向回转的迹象。消息传到华盛顿，正在回国治疗鼻窦炎的魏德迈将军，马上给马歇尔写信，恭维他是国家的栋梁和不可缺少的人才。魏德迈这样写，不知道是不是听到了杜鲁门准备要任命马歇尔代替贝尔纳斯出任国务卿的消息。
不久，马歇尔发电报到华盛顿，提名魏德迈担任驻华大使。国务院将此消息正式通知了魏德迈。魏做鼻窦炎手术还停留在美国，听到关于自己任命的消息，喜出望外，尽管意味着他暂时要从陆军中退役。他到纽约的大商场采购了晚礼服、燕尾服等。华盛顿盛传，等他一到中国，马歇尔就回国，由他全力去处理中国的问题。
但很快，马歇尔电告华盛顿，要其暂缓对魏德迈的任命。关键问题是国共之间的谈判拖延了下来，达成协议看来遥遥无期。马歇尔考虑到魏德迈同蒋介石关系密切，而且思想极其保守，他怕中共方面不可能接受魏德迈这个带有明显倾向性的人来进行调停。魏德迈一方面说对马歇尔这个解释表示理解，另一方面又川流不息地给马歇尔写信，告诉马歇尔有关美国国内的情况，表明他为加强马歇尔的力量所做的一切。同时，他不断提醒马歇尔，说蒋介石希望他能到中国来。
最后魏德迈给马歇尔写了一封信，流露出他的失望和不满情绪：
“3月间，您提出要我接受帕特里克·赫尔利出缺之职时，我就对您讲过，我认为共产党不会同意我当驻华大使，因为我曾当过两年的委员长的参谋长，不可能公正不偏。当时您认为这并不妨碍我的任命，我才同意接受此项职务……”
魏德迈告诉马歇尔，他不打算再回陆军去了，他要与妻子隐居在一个农场里，出版商已经约他写一本书。他祝马歇尔在重要谈判中诸事顺利。魏德迈的这封信，标志着他与马歇尔之间友谊的终结。
1946年11月，魏德迈把有关中国的政治纷争和中美之间的关系，写了一份报告给国务院即《魏德迈报告》。在报告中，魏德迈指责马歇尔和国务院置国民党于不顾，听凭共产党接管中国。他说他对马歇尔表示深深的失望，因为他任由共产党指定谁可以当美国的代表。魏德迈的报告在美国国内引起轩然大波。但很显然，他的报告含有很多不实之词。他对马歇尔的批评和攻击，带着浓厚的个人恩怨和不满情绪，关键问题是马歇尔没有能让他当上梦寐以求的驻华大使。
1947年1月8日，马歇尔飞离中国，前往檀香山会合前期到达的马歇尔夫人。在那里稍作逗留，然后再飞往华盛顿。同一天，华盛顿宣布任命马歇尔为国务卿，在中国的调停彻底失败，现在却成了制定美国外交政策的关键人物。