尽管在各项政策上饱受争议，在1948年美国总统大选中，杜鲁门仍出人意料地胜出，取得连任。杜鲁门在第一届任期没有副总统，在第二届任期内以艾尔本·威廉·巴克利出任副总统。在这一任期内，杜鲁门又推行了令世界关注的政策——麦卡锡主义。
1948年8月3日，《时代周刊》资深编辑惠特克·钱伯斯在非美活动调查委员会的听证会上，提交一份名单，上面载有自1930年代至1940年代于美国政府内暗中活动的共产党员。该名单上载有阿尔杰·希斯的名字，而希斯是国务院的一位官员，曾参与创立联合国。
事后。希斯在1948年8月17日找钱伯斯当面对质。白宫的官方回应也要求终止对希斯的调查，以引开公众的注意。
然而两人的对质与白宫的回应却引起了轩然大波。在1948年11月，钱伯斯带领两名调查员到马里兰州的一块南瓜田，并在一个空心的南瓜中找到四枚微型胶卷。微型胶卷内所载的资料则在后来被称为“南瓜文件”。（事件也使加里福尼亚州参议员尼克逊一举成名，因为他后来对着这些胶卷，摆出一个拿着放大镜的姿势，拍摄了几张广泛流传的相片。）
到了1950年2月9日，共和党参议员约瑟夫·雷芒德·麦卡锡在西弗吉尼亚州惠灵的共和党妇女会上发言，指责国务院涉嫌与共产党员纠缠不清。当时苏联正试爆核武器、中国又成为社会主义国家，国内又有阿尔杰·希斯一案，结果麦卡锡通过在国内冒升的反共主义，成功地从公众取得相当的支持，并揭开了“麦卡锡主义”时代的序幕。
杜鲁门总统签署一份指令美军加入朝鲜战争的文件。1950年6月25日，朝鲜军队进入南方，不久将解放整个朝鲜半岛。
杜鲁门立即强烈要求联合国作出干预，故此以道格拉斯·麦克阿瑟为首的“联合国军”在1950年10月成功把朝鲜军队退回至中国边境一带。
在1950年10月，中国以朝鲜的名义对战事作出干预，麦克阿瑟立即建议杜鲁门出兵袭击中国在鸭绿江一带的军事基地，在必要情况下，更可以动用原子弹。在中国援助朝鲜的情况下，“联合国军”被迫退回到韩国，而战线在1951年春天的时候，更退回到战争爆发时的地区。但杜鲁门不同意麦克阿瑟的观点，担心他的方案会使苏联加入，使大战升级，最终有爆发核战争的可能。于是麦克阿瑟在总统反对的情况下，公开广播他对战事的意见，而且更不服从杜鲁门的指令。结果在：1951年4月11日，杜鲁门解除了麦克阿瑟的职务，并召他回国。
此后朝鲜战争成为了僵局，直到德怀特·艾森豪威尔上任总统后，才于1953年7月27日达成了停火协议。
参与朝鲜战争并解除麦克阿瑟的职务，使杜鲁门在国内变得不受欢迎，更促使他在1952年的大选不再寻求连任。根据盖洛普民意调查，杜鲁门在1952年2月的支持率为22％，是有史以来在任美国总统所得到的最低支持率。
越战爆发前，美国早己介入越南问题，而且可追溯至杜鲁门任总统的时期。在1945年的对日战争胜利纪念日，胡志明参照美国，撰写了一份独立宣言，并视以蒋介石为首的国民党军队为头号敌人。但在同年9月23日，美国为了防止共产主义由中国传入越南，继而向世界散布，声明支持法国对越南的管治。
由于遭到美国摒弃，胡志明转移向共产党求助。在1960年，胡志明宣布越南独立，并得到中共和苏联的承认，当时他占据接壤中国边境的一些偏远地区，而法国仍然占领余下的地域。在美国的“围堵政策”和强烈反共的前提下，美国继续承认法国对越南的主权，以及确认法国在越南的傀儡政权。
1950年，杜鲁门对法国发放了一共一千万美元的援助，又派出123支非战斗部队到越南，协助处理物资事宜。到了1961年，援助总额上升至一亿五千万美元，至1953年更达至了十亿美元（占美国对外援助总额的1／3，也占法国一方支出的80％）。
和其他美国总统不同的是，杜鲁门入住白宫的时间非常之短。理由是有屋宇结构专家在他上任后不久指出白宫随时有倒塌的危险，主要是因为在1812年战争中，白宫的墙壁和地基曾被火焚烧，以致在结构上出现了问题。于是杜鲁门对白宫的地基进行了大规模的重建工程，另外又在白宫的南翼柱廊的第二层，加建了一个阳台（即所谓的“杜鲁门阳台”）。杜鲁门一家则搬到附近的布莱尔宫，作为自己的“白宫”。
在1950年11月1日，两名分别叫杰斯里奥·托里索拉和奥斯卡·柯拉索的波多黎各民族主义者，企图于布莱尔宫行刺杜鲁门，但行刺失败。柯拉索被裁定谋杀罪成，于1962年被判处死刑，不过后来得到杜鲁门减刑为终身监禁。
事件发生后，杜鲁门决定在波多黎各举行一次民主的公民投票，以决定波多黎各的地位和与美国的关系。最终波多黎各制定了自己的宪法，并确立成为美国的自治邦。
在1950年，参议院在埃斯蒂斯·基福弗的带领下，对政府高级官员受贿进行调查，当中发现不少官员曾收受过名贵皮草和冰箱一类的物品，而国税局更牵涉在内。结果一共有166名国税局员工辞职或被解雇，部分更被司法部控告瞒税和贪污等罪行。一般历史学家都同意杜鲁门没有牵涉到国税局的贪污丑闻，也相信他对此并不知情，但却有一次例外。
1945年，一位香水公司总裁送了一台十分昂贵的新型号冰箱给杜鲁门太太，该名商人其后在杜鲁门和他的好友哈利·佛汉将军的协助下，在二战结束后不久取得优先前往欧洲的机票，而那名商人在回程时又与一位伤兵发生争执，更将他“撞伤”。事件在1949年曝光，使杜鲁门大为尴尬，但他仍然大力为佛汉将军作出辩护，可是实际上，佛汉将军本人当时被一连串的白宫办公室丑闻缠身。
1952年，德怀特·艾森豪威尔发起一连串运动，指出政府混入了不少苏联特工，再次使杜鲁门政府备受困扰。早在1947年，杜鲁门设立了一个“效忠委员会”，调查联邦政府是否混入了间谍。后果是，自1947年至1952年，大约有20，000名公务员遭到调查，当中有约2500人“自愿”辞职，400人被辞退。
另外，自1945年至1946年，约翰·埃德加·胡佛多次向杜鲁门提出警告，指出财政部的助理部长哈利·德克斯特·怀特是苏联间谍。加拿大总理也同样向FBI警告要注意怀特，而来自苏联的变节人士也证实了这个情报。最后杜鲁门唯有将怀特调任为国际货币基金组织的美国代表，他又承认设立“效忠委员会”是他当总统时犯下的最大失误。
1951年，美国国会通过了《第22号修正案》，防止总统寻求第三届任期（若该总统曾有一次为期多于两年的任期，该总统日后只可有多一届任期），但杜鲁门总统却不在此限。然而，杜鲁门在新罕布什尔州的初选中被党内的埃斯蒂斯·基福弗击败后，他决定退出1952年美国总统选举。
1951年夏天，即杜鲁门解除麦克阿瑟职务后不久，杜鲁门邀请了德怀特·艾森豪威尔为民主党出选总统，而自己则当他的副总统，但建议遭到德怀特·艾森豪威尔拒绝。
到了新罕布什尔州初选的时候，由于杜鲁门没有对任何民主党候选人作明确支持，自己又没有宣布放弃竞逐，结果杜鲁门的名称出现在选票上（在新罕布什尔州，任何人可未经当事人同意，在初选中作出提名）。
但是在1952年3月，杜鲁门宣布放弃竞逐，又极力劝说伊利诺州州长阿德莱·史蒂文森参选，最终史蒂文森成为了1952年美国总统选举中民主党的候选人。
杜鲁门卸任后离开了华盛顿，搬到了他岳母在密苏里州独立城的居所，并到各地发表演说和撰写回忆录。另外，杜鲁门又模仿他的前任总统罗斯福，在。1957年出资成立了杜鲁门总统图书馆，捐赠给联邦政府。这也是自《1955年总统图书馆法案》通过以来建立的第一所总统图书馆，以后每位卸任总统都会建立一所总统图书馆。
杜鲁门任总统时曾落实通过对退休公务员发放退休金。可是他认为卸任总统接受任何的捐赠，都有损全国最高领导人的形象和尊严，因而加以拒绝。虽然他卸任后从撰写回忆录赚取到600，000美元，但是当中的大部分款项均用作了交税和支付协助撰写回忆录人员的薪水。
有鉴于杜鲁门的财政状况，国会在1958年通过了《卸任总统法案》，向卸任总统每年发放25，000美元的退休金。不过当时另一位在世的前任总统赫伯特·胡佛却没有接受这份退休金，据说是为免使杜鲁门尴尬。
在1956年，杜鲁门伉俪出访欧洲，一时间成为了全球的焦点。在英国，杜鲁门获牛津大学颁发民法学荣誉学士学位，并最后一次和朋友丘吉尔会面。回程美国前，他又为民主党总统候选人阿德莱·史蒂文森作全力支持。
1965年，詹森总统在杜鲁门图书馆签署了《医疗保健法案》，并把第一张和第二张医疗保健卡予杜鲁门和妻子贝丝，杜鲁门也曾在任内争取落实全民医疗保健。
杜鲁门年届80岁的时候，获宴请到华盛顿，并准备在参议院发表讲话，但因为他在欢迎仪式上大受感动，而不能言语。当时美国在越战中深陷，后来共和党政府又爆发水门事件，结果使杜鲁门的支持度急升，更为参议院候选人助选。1964年，杜鲁门在浴室跌倒，撞伤了额头，折断了两条肋骨。自此，他的身体状况大不如前，并中断了以往每天到总统图书馆的习惯。
1972年12月5日，杜鲁门因肺炎引发肺气肿，被送往堪萨斯城研究医院及医疗中心，最终于12月26日因器官衰竭逝世，享年88岁，他的遗体被安葬于杜鲁门图书馆。
1972年12月5日，杜鲁门因肺炎引发肺气肿，被送往堪萨斯城研究医院及医疗中心，最终于12月26日因器官衰竭逝世，享年88岁，他的遗体被安葬于杜鲁门图书馆。