司法部部长对联邦调查局态度的转变，深深刺痛了杜鲁门，他没想到在没有多久的时间里，司法部部长就与当初派去时判若两人。这时，杜鲁门才彻底清醒，看来想把胡佛从联邦调查局局长的位置上拿下来，还真不是一件简单的事情。20多来，胡佛的根已经深深地扎到了白宫的最深处，他明白了联邦调查局对于一个美国总统的重要性。但是，杜鲁门依然不愿意和联邦调查局“同流合污”，最后，他决定成立一个新的国家情报局，以应付越来越多的来自各政府部门的情报。于是，美国中央情报局（英文缩写CIA）在1947年9月18日正式成立了。但在此之前，杜鲁门总统签署了一份《1947年国家安全法案》。在这份法案里，政府明确规定了中央情报局的职责和工作权限，其所有的行动都必须符合“没有警察、传票或者执法力量或国内安全职责”规定。这份法案看上去是杜鲁门为中央情报局的工作划定了一个特定的范围，但实际上，就是在国防部和联邦调查局的眼里插上了一根针，这也是后来许多年里，国防部和中情局、联邦调查局与中情局之间，生出许许多多矛盾的根源。
中央情报局成立以后，基于法案的相关规定，胡佛不得不将自己手中的一部分权力交给中央情报局，尽管有万般的不愿意，但还是不得不那样做。只是，在向中央情报局移交那些国际间谍情报档案时，胡佛不仅烧掉了其中的许多档案，还找出了各种理由拒绝交出前几年的情报档案。不能不说，在杜鲁门总统执政期间，胡佛和他领导下的联邦调查局暂时收敛了曾不可一世的威风。
3．杜鲁门与联邦调查局的周旋
中央情报局的成立，虽然在心理上给了杜鲁门总统很大的安慰，因为终于有一个能够牵制联邦调查局的机构了，但杜鲁门对胡佛依然充满厌恶之情。尽管杜鲁门从胡佛送来的资料里知道了联邦调查局对于美国总统的重要性，但他想，既然罗斯福能把联邦调查局打造成辅佐他政治的神话，那么，他相信自己同样也能够培养出中央情报局这个特工机构。杜鲁门还认为，罗斯福总统既然能一步一步地为联邦调查局争取到那么多的权力，他同样也可以让中央情报局从联邦调查局手中一点点地抢回那些特权。于是，杜鲁门在疏远联邦调查局的同时，开始了对中情局的着力培养。可是，没想到，随着第二次世界大战的结束，他这个总统虽然获得了不少美国民众的支持，但却冒出了许多对他的能力持怀疑态度的政敌。在这种情况下，本来早就想和联邦调查局说“再见”的杜鲁门，不得不迟疑起来。
其实，对杜鲁门来说，他的麻烦在一上台的时候就开始了，但当时正处在二战期间，战争的风云暂时掩盖了一些国内的政治声音。二战结束后，这些声音自然就冒了出来。有人说，杜鲁门可以处理一些国家大事，但却难以改变他骨子里小人物的本性等等，这些言论杜鲁门很清楚，是自己的政敌对他采取的一种舆论上的攻击。杜鲁门当然不允许这些思想和舆论泛滥。
由于杜鲁门不是凭借大选当上的总统，这让他对自己也有一种“名不正言不顺”的心理，在这种心理影响下，他撤换了罗斯福当政期间许多的精英骨干，尽管如此，他内心依旧充满怀疑，总觉得在白宫内有一双眼睛在盯着自己。这时，他想到了联邦调查局的特工，于是拨通了联邦调查局的电话，直接召见了局长胡佛。
对胡佛来说，这是他一直等待的时刻，因为只有在这种时刻才能凸显出他领导下的联邦调查局在美国政治中的作用，而杜鲁门总统果然向他招手了。其实，任何一个总统，都会有自己的政敌存在，这是不可避免的现实。所以，当杜鲁门总统的政敌们开始对他有所行动时，胡佛感觉到是联邦调查局大显身手的日子了。
果然，随着反对杜鲁门的声音越来越高涨，杜鲁门总统沉不住气了，在得到总统的“密令”之后，联邦调查局很快把近200名散播对杜鲁门不利消息的政敌抓获，并授意那些和他们有着同等利益关系的人收起对杜鲁门总统的谩骂。这次行动对胡佛来说，有着非同一般的意义，所以，他尽心尽力去为总统做事。当他把那些对杜鲁门总统进行人身攻击的主要政敌的名单和档案亲手交给杜鲁门时，杜鲁门虽然心里对联邦调查局依然还有一些耿耿于怀，但却不得不佩服胡佛的办事能力和效率——那些昔日的政敌转眼之间对自己变得非常恭敬。然而，杜鲁门实在是一位精于算计的人，在对联邦调查局办事能力佩服的同时，内心的恐惧也随之加剧。
杜鲁门和联邦调查局之间那条无法逾越的鸿沟也正是从那一刻起开始出现的，所以杜鲁门在任时期，联邦调查局和胡佛的日子一直都不好过。尽管在政治和利益需求之下，胡佛表现得很大度，但在杜鲁门的心里，胡佛就是他的一根眼中钉、肉中刺。那时的中央情报局羽翼还未丰满，所以，对于联邦调查局，杜鲁门又不得不礼让三分，与它保持着若即若离的距离。
第二次世界大战后，苏美关系进入到“冷战”状态，而杜鲁门的做法令在美国的共产党人士和组织受到严重的打击和排挤。
胡佛为了在总统面前充分表现自我，利用这样的好机会大做文章，他强烈拥护总统的决议，而且对隐藏在美国国内的共产党数量及规模进行夸大描述，并拿出一些联邦特工对共产党秘密调查的档案来进行佐证。杜鲁门相信了胡佛的说法，运用自己的权力去游说那些国会人员，为联邦调查局专门拨了经费。
这样一来，联邦调查局暂时得到了资金上的支持，同时，也让调查局在总统面前多少挽回了一点面子。得到了国会的支持后，胡佛运用自己手中的权力，将很多社会活动家请到了国会里接受访问，拿出许多捏造的“证据”。在那个时期，联邦调查局向国会提交了大量“共产党”名单，在那些证据面前，国会也相信了胡佛，竟然为联邦调查局拨了近2000万美元的专项经费。
联邦调查局确实没有让总统和国会失望，他们做了大量的工作，仅仅两年时间，美国境内的共产党已经从7万人降至不足4万人。当时的杜鲁门只想一心铲除共产党，所以轻信了胡佛鼓吹国内拥有大批共产党的谎言。而国会在不久之后发现了胡佛的目的，便提醒总统：胡佛可能是借共产党一事向政府要经费。杜鲁门不得不承认，自己在处理共产党这件事上的确存在过失。至此，杜鲁门在执政期间再也没有相信过胡佛，而只是把他和联邦调查局当作了自己维护政权的一个工具。
而事实上，胡佛也清楚，杜鲁门根本从心里不愿与联邦调查局为伍，只是出于政治的需要。在许多情况下，看似总统在帮调查局，实际上只不过是把调查局当作帮助自己巩固政权的一个工具而已。但对胡佛而言，这就够了，无论哪个总统与联邦调查局合作也都是互帮互助的关系。
4．杜鲁门与胡佛的反共联盟
在二战结束后的动荡时期，虽然杜鲁门能够领导和控制最重要的国家大事，但他骨子里却是一个小人物。为此，他的一个政敌讥讽他说：“他当总统，却把宾夕法尼亚变成了‘大街’（指美国作家辛克莱·刘易斯于1920年所写小说《大街》，讽刺了一些出身于小城镇的实利主义者）。”杜鲁门的一个朋友也曾说：“对他而言，当总统只不过是一个开端，他真正的抱负应当是密苏里州州长。”
杜鲁门为了清除人们的成见，急于证明自己的判断能力，证明自己绝非懦弱无能。对内，他继续留任前任总统的一些官员；对外，他在远东、欧洲，都走向了与以苏联为首的社会主义阵营全面抗战的路线。与苏联在反法西斯战争中结成的盟友关系彻底破裂后，美国共产党以及所属的工会也成了首要攻击对象。共产党人和一些工会活动遭到排挤和诽谤，一种猜疑、恐惧、紧张的气氛笼罩着政治舞台。
杜鲁门对共产党的态度，和胡佛一致，虽然二人之间并不融洽，但此刻在杜鲁门总统对付共产党的问题上，胡佛还是看到一丝机会，他不会放过这样的大好良机。于是，他带领联邦调查局开始了对共产党人的调查工作。1946年10月，在“美国军团”代表大会上发出了信号。他宣称，共产党人已经渗透到美国的各个角落，国家面临着实现“共产党人可怕阴谋”的威胁，他还说，共产党人在竭力破坏美国的生活方式。针对胡佛对共产党人诬陷的言论，共产党人所办的《工人日报》给予了回击：“胡佛追随纳粹党人的榜样来反对共产党。他企图把一切支持进步思想的人、一切和平与民主人士扣上‘共产党代理人’的帽子。”而美国国会却对胡佛给予了褒扬，当时的众议院非美活动调查委员会主席托马斯在1946年11月27日《纽约时报》上发表文章说：“我们应该考虑这样一个事实：在最近十年中，共产主义在美国发展起来了。我们最近两年的任务，就是要彻底根除共产主义。而要做到这一点，采取揭发、解释、追查的手段是很有必要的。第一种和第二种手段包括在我们这个委员会的职能内，而追查手段是联邦调查局的职能。”一时间，美国境内越来越多的社会活动家被传到国会进行询问，联邦调查局对这些人都一一设立了个人档案，这些材料中有一部分是联邦调查局用恐吓和欺骗手段制造出来的“黑材料”。据1951年3月30日的《美国新闻和世界报道》中称，联邦调查局局长透露，每29000个美国人中便安置有一名编制内的告密者，此外还有大批特工没有计算在内。某个组织或个人，若被控“非美主义”的罪名，那么，这些人或组织就是被伪证迫害的。
1947年3月21日，为了更严厉地打击共产党，杜鲁门总统又颁布了审查国家公职人员“忠诚”的第9835号行政令，目的是对250万以上的国家公职人员进行专门的政治可靠性审查，以此将共产党人和工会积极分子从中清洗出去。为此，国会专门拨出了1800万美元的经费。
根据联邦调查局掌握的“证据”，到1947年底，已经有数百个社会民主团体被列入“黑名单”，如：“美苏友好协会全国委员会”“争取公民权利大会”“保卫外国出生的美国人全国委员会”等等。
共产党人在国会和联邦调查局的严厉打击下，人数从1946年的7万人迅速降至1948年的4万人。杜鲁门对共产党的打击决心，让胡佛在杜鲁门时代抓住了一根救命稻草，他为了自己的目的，“有声有色”地工作，为国家的安全“鞍前马后”。