马歇尔却采取了完全不同的态度。一方面，他觉得杜鲁门并非等闲之辈，即任之初不熟悉情况，办事谨慎和小心，甚至显得有些笨手笨脚，这实在是难免的，一旦进入角色以后，他就能有所作为和表现；另一方面，马歇尔觉得杜鲁门是总统和总司令，陆、海军参谋长都是总统的顾问，有义务向总统认真详细地报告各种情况，所以，他千方百计尽心用力向新总统作了情况介绍。马歇尔说话有条有理，令人折服。杜鲁门对马歇尔表示衷心的道谢，马歇尔得到了杜鲁门的信任，成为杜鲁门所倚重的最主要的顾问和助手。
随着欧洲反法西斯战争胜利的到来，人们沉浸在一片欢乐的气氛中，陆军部长史汀生，对马歇尔赞美有加，5月9日，他邀请马歇尔来到他的办公室，当马歇尔进去的时候，他发现十几个将军和高级官员已围坐成了一个半圆形，但主宾位置空着在等他。史汀生请马歇尔入座然后对着马歇尔讲了这样一段话：
“我和全国一样，向你表示深切的个人敬意。任何谋私利者都不能达到崇高的地位，而你是从来不谋私利的。很少有人肯放过这样的机会：成为美国历史上最庞大的地面部队的总司令，而你出于完全无私的理由做了不当司令员的决定。你已使参谋长这个职位更加重要，我从来没有想有人能完成这样巨大的任务……
“我一生见过许多军人，而您，阁下，是我见到过的最好的军人。”伦纳德·莫斯利：《马歇尔》，解放军出版社，1987年，第2页。丘吉尔也来凑热闹，写来长信一封，把马歇尔大大抬举了一番，读来耐人寻味：
“您并非命运使然才来指挥这些伟大的军队的，这是非您去建立、组织和鼓舞不可的。在您的指引下，这些已经横扫法、德全境的强大英勇的军队得以诞生，并在令人瞠目的短时间内臻于完善。不仅组建了战争部队以及其辅助部队，而且提供了所需要的全部指挥人员，这使我们几乎无法相信。他们能够指挥一支由集团军和集团军群组成的现代化合成军队进行机动作战，并能以无比迅猛的速度调遣这支大军。
“在这些殚精竭虑的岁月中，我对您的英勇精神和宏伟魄力始终怀有钦佩之情，正是您的这种精神和魄力，使得与您共度艰危的战友们获得了真正的慰藉，而我切望自己能被公认为您的这些战友之一。”
但马歇尔自己却轻松和高兴不起来，太平洋战争的巨大压力还使他绞尽脑汁，几乎夜不成寐。从战略上讲，到了1945年，日本已被打败了。在东南亚战场和中国战场，盟国开始展开反攻。在太平洋上，1943年初的瓜达卡纳尔岛战役结束后，战略主动权就已完全移到了美军手中。美军从中太平洋和西南太平洋两路展开攻势，前进到菲律宾海域，但日本军国主义不惜一切代价负隅顽抗的态度，使美军每前进一步都要付出惨重的代价。在菲律宾海域的海空战中，日本人开始使用“神风自杀机”，以自杀行动去炸毁美军海军舰只，事实已越来越明显，随着美国人逼近日本本土诸岛，日本人将会是寸土必争，抵抗越来越疯狂。
当麦克阿瑟的军队肃清吕宋岛上的敌人时，美军太平洋舰队司令尼米兹正着手攻击硫黄岛和冲绳岛。为了取得日后进攻日本本土的空中基地，先必须拿下小笠原群岛，日军殊死抵抗，不肯投降，结果美军陆战队死亡23 000人，海军死亡2 800人，20 000名日军被击毙，218人被俘。
冲绳之战也打得异常艰苦和惨烈，美军伤亡75 000人，日军方面，110 000人战死，7 400人受伤被俘。
展现在马歇尔面前的是一条铺满鲜血和尸体的通往东京的道路，每天要过目战场上的阵亡将士名单，阅读阵亡者家属写来的悲痛的信件。战争已经打了好几年，厌战的情绪已经开始蔓延，兵源已很感紧张，他必须谨慎从事，但看起来要使日本投降，还非得在日本本土登陆作战不可，预计届时战斗会更加激烈，伤亡将更加惨重。根据马歇尔的保守估计，美军伤亡将在1 000 000人左右。
1945年6月，马歇尔开始郑重考虑登陆日本的准备工作。6月18日，杜鲁门与各位参谋长一起讨论了进攻日本本土的问题。战略计划确定，1945年11月1日进攻九州，1946年春攻打本州，1946年底，对日作战全面结束。
马歇尔想尽办法来减少美军的可能伤亡，他支持在中国维持一条积极的抗日战线，以便拖住和吸引更多的日本军队。他希望前苏联在结束欧洲战争后，能在远东加入对日作战，在德黑兰和雅尔塔，他支持罗斯福总统向前苏联领导人提出了这项要求。在欧洲战争中，他采取比较合作的态度，也是想取得前苏联领导人的信任，争取前苏军在远东与美军合作。
对于当时正在研制和试验的原子弹，马歇尔也给予了极大的关注，希望它能成为缩短战争、减少美国伤亡的手段。虽然对德战争已经结束，在德国境内使用不上原子弹了，但如果能赶在日本投降前试制出来，那对结束对日战争还是要发挥威力的。
美国对原子弹的研究起步较早，最初来自两位杰出的匈牙利物理学家的倡导，他们都是在希特勒上台以后逃出德国实验室的。来到美国以后，他们在纽约长岛找到了阿尔伯特·爱因斯坦。他们希望能说服爱因斯坦向罗斯福总统提出警告，即德国已经在原子弹研究方面取得很大进展，爱因斯坦同意在写给罗斯福的一封信上签署自己的名字。罗斯福同意采取实际行动，加强对原子弹领域的研究和利用。
但战争爆发两年以后，这一行动进展缓慢，没有整体的计划，研究工作只是在美国少数几个大学里进行。核科学家们虽然热情高昂，但缺少经费，直到1941年夏，华盛顿的全国科学研究委员会才设立了一个专门研究“铀”的机构，1941年底，才全面投入政府力量。12月6日，宣布了一个全力以赴的计划，但时间似乎已经偏晚。第二天，日本飞机就轰炸了珍珠港。
马歇尔和史汀生是在珍珠港事件爆发之前两个月才获知有关原子弹的研究情况的。接着，原子弹的全部研制工作交由陆军统管。马歇尔选择了西点军校出身的工程技术人员莱斯里·格罗夫斯将军来负责，1942年夏末，“曼哈顿工程”被批准给予工作的“三A”权，即最最优先权。
为曼哈顿工程获得资金，是一项麻烦透顶的事，陆军的每项支出都是经过国会拨款的，没有什么需要隐瞒的。但原子弹的研究，在当时是一项极端秘密的工作，知道它的人越少，保密程度就会越高。很显然，其费用的预算不可能先拿到众议院拨款委员会去讨论。1942～1943年的费用是从陆军整个拨款中挤出来的，但1943年的费用就已高达5亿美元，预计到1944年其费用每月就要1个亿，这笔钱再也不能以“急需生产”为名塞进预算中去了。
1944年2月，罗斯福建议史汀生、马歇尔到国会山去，向众议院议员以及两党领袖提出经费的问题。罗斯福估计，他们在国会山可能遇到不少困难，议员会盘根究底，那样就泄露了机密。马歇尔的任务是既要得到这笔拨款同时又要对搞的是什么东西一个字也不能泄露。马歇尔凭着他的崇高威望和技巧，向众议院的主要领袖说明了情况，并请他们严守秘密。众议院的领袖们欣然同意马歇尔所要求的一切，并且表示，他们将设法使拨款委员会不要求讨论这个问题。结果，马歇尔如愿以偿。史汀生和罗斯福向马歇尔表示祝贺。
原子弹研究取得迅速进展。1944年末，格罗夫斯向马歇尔报告说，一颗击发式的原子弹在1945年8月1日可使用，另一颗引爆式的可在年底使用，其他几颗爆发式的将于其后的较短期限内连续出产。
随着试验原子弹和决定在日本本土登陆作战的日期日益临近，关于使用和控制原子能的问题也越来越多。英国分享了美国原子弹研究方面所取得的成果。1944年秋天，罗斯福和丘吉尔也曾设想过如何使用原子弹的问题，并签订了一项备忘录，大意是经过深思熟虑将对日本使用原子弹，并将连续使用，直到日本战败投降。战后，两国将在商业和军事两个领域就原子能的研究和应用进行充分合作。
考虑到原子弹的巨大杀伤力，马歇尔觉得应该预先给予日本人一个警告。第一个目标应该是军事目标，如果这一攻击并未引起日本人的重视，那就选择几个工业中心，并警告敌人于某一期限内动员平民疏散，马歇尔认为：“我们必须用这种警告的办法去排除人们的责骂，在使用这种武器时考虑不周就会招致责骂。”
在军人领袖中，参谋长联席会议主席威廉·李海海军上将直到最后一分钟还不相信原子弹的威力，在波茨坦会议期间，他还向他的同事们“嘲笑使用原子弹的想法”，说从事原子弹研究的人为“一帮糊涂蛋科学家”，“原子弹是世界上吹得最大的牛皮”。
一部分原子弹研究工作者，也提出了使用原子弹引起的道德方面的问题。但大多数政界和军界领导人都相信，这种新的武器就像是梯恩梯炸药做成的炸弹和燃烧弹一样，并不会牵涉到道德上的麻烦。因为在第二次世界大战中，对居民进行大规模的轰炸已经成为司空见惯的事情。比如，1945年3月9日夜晚，美军轰炸机对东京进行狂轰滥炸，引起大火，东京居民死伤10万人。
最后，杜鲁门总统任命了一个由马歇尔、格罗夫斯、史汀生的两位文职顾问和几个科学家组成的临时委员会，专门研究在原子弹投放前应不应该给日本人一个警告的问题。讨论的结果是，事先没有必要给予警告，因为投放的原子弹的威力值得怀疑，甚至可能是一颗瞎弹。再者，日本人可能把盟军战俘送到威胁地区，也可能想办法削弱轰炸的效果。为了使原子弹的爆炸能够留下最大限度的痕迹，委员会认为，原子弹应该投在没有大规模轰炸过的城市里。当时日本没有被炸过的城市屈指可数，因此，在开列考虑作为轰炸对象的名单上只有京都、新潟和广岛等几个。史汀生认为京都是日本历史名城，名胜古迹众多，将其作为投放原子弹的地方不怎么适宜，因此京都就被从名单上画掉。长崎作为替换对象被补上来。
1945年7月中下旬，美、英、苏在德国波茨坦召开战时第三次“三巨头”会议。一天早上，马歇尔和史汀生正在用餐，收到来自美国国内的一份密电：婴儿已经诞生。他们两人知道，在阿拉莫戈进行的原子弹试验成功了。他们马上通报了杜鲁门总统，又告诉了丘吉尔。杜鲁门想以原子弹来压服斯大林，抬高美国在会谈桌上的价码，甚至暗示不再需要前苏联参与远东战争。但斯大林不为所动，他似乎早已知道美国人研究原子弹的秘密。最后前苏联重申了对日作战的承诺。中、美、英三国发表了敦促日本无条件投降的《波茨坦公告》。
日本人对波茨坦公告置之不理。8月6日，美军在广岛投下了第一颗原子弹。8月8日，前苏军宣布对日作战，大兵团进入我国东北。毛泽东主席发表“对日寇最后一战”的声明，号召八路军、新四军全线出击，消灭中国境内一切敢于顽抗的敌人。日本侵略者的抵抗全线崩溃。8月9日，美军又在长崎扔下了第二颗原子弹。8月14日，日本裕仁天皇亲自召开最高军事会议，天皇正式向全国广播了接受《波茨坦公告》和决定投降的诏书。9月2日，在东京湾美国军舰“密苏里”号上举行了日本投降的签字仪式。第二次世界大战胜利结束。