1952年8月7日，中央人民政府成立地质部，李四光由原地质工作计划指导委员会主任委员改任地质部长。
地质部是国家地质事业管理的最高行政部门，可谓全国地质事业的统帅部，也是党和国家制定社会发展及国民经济建设的有关参谋部。
李四光，作为一部之长，必然要把主要精力投放在地质领域的“三军”统帅上。
他要组建国家地质部，统辖各省、市、自治区的地质厅局。谁都知道，统帅全国地质事业的建设与发展，必须得率先组建一支卓有成效的行政管理队伍。其中包括人员编制、机构设置、岗位职能与运行机制等等，皆需李四光统筹与决策。他在事业管理方面一贯主张精简效能，事半功倍。然而，各职能部门的领导干部和工作人员又需熟悉地质业务，这在50年代初期该有多么困难！
他要组建国家及地方的地质研究和地质勘探队伍，使之理论与实践相结合，为祖国探查煤炭、石油、铁矿，以及各种有色金属和一切能源的分布及蕴藏，从而发挥经济建设“地质先行”的实际作用：旧社会，中国地质研究部门和勘察队伍都相当薄弱，向来没有形成一个统一的有机整体。为这支队伍的建设，李四光操尽了心血，他尽力通过各条渠道询问目前散留各地的地质工作人员的地址和情况。问到一名记下一名，连续拉出一个长长的名单，并且以个人名义逐一致函，希望他们尽快加入新中国的地质建设行列，充分发挥各自的专长。人才很宝贵，尤其是中、高级地质研究人才。在李四光的心目中实在是太重要了！没有高素质的地质专家，党和国家赋予自己的一切重任都将成为泡影。每当这时，他便想起当年的老领导蔡元培，老同事杨铨（即杨杏佛）和自己那英年早逝的心爱学生——朱森。如前所述，朱森是李四光最器重的学生，师生之间情同父子。为了给祖国造就地质栋梁之材，李四光把他派到美国哥伦比亚大学深造，后来又送他到德国博恩大学攻读博士学位。30年代末期，朱森已经成为著名学者和大学教授，并曾代表中央研究院出席第17届国际地质学会。然而就是这样一个为人正直、具有独立见解，并且正在施展才华的地质学家，竟于1942年7月6日，在国民党统治下的重庆市被残害致死！当年，李四光曾以极大的悲愤心情撰写纪念悼词，以“山兮复何在，石迹耿千秋”的名句痛哭自己的学子！李四光希望这样的悲痛永远不要重演。因此，当他听说有一位学者在抗日战争时期，由于恋惜国民党统治区的某一方面工作条件等非政治因素，未能投奔解放区，在新中国成立之后曾被视为历史问题时，李四光便征得有关方面同意，使之重新回到科研岗位。类似事例还有很多，李四光都从珍惜人才、建设祖国的大局出发，挺身而出合理安排，在力所能及的前提下充实了当时的科研队伍。
他要组建地质教育基地，造就新中国的地质专业人才。他深知，目前仅有的地质人才与祖国经济建设迅速发展的形势极不相称。他看到，自己亲手培养起来的几批学者，如今也大都年过半百，急需有大量新人尽快接班。教育是科研的基础，中国地质科研的提高与发展需要有强力的地质教育事业作保障。50年代初期，他与高等教育部协商，在北京大学与清华大学两个地质系的基础上，组建了北京地质学院，亲自兼任建院的筹备委员会主任。此后，又在东北地区各有关院系的基础上，充实原中央研究院的部分地质专家，建立起长春地质学院，派自己的得力助手俞建章担任院长。另外，又在南京大学、重庆大学等6所大学的地质系中增设了专科班，同时又创办了9个中等地质技术学校，设有钻探、化验、测绘等各种专业，着重培养尽快成材的技术干部。于是，随着建国之后的国民经济恢复和第一个五年计划的实施，全国形成一个系统的地质教育网络及其完整的教育队伍。从50年代起，历届地质院校的毕业生大都成为新中国地质事业的高级建设人才和优秀管理干部。
年过花甲的李四光，荣任地质部长伊始，便用大最心血创建和统帅新中国地质战线的3支大军。他需要策划，需要请示，需要与国家财经部门、教育部门、人事部门和地方政府相互协调，这将付出多少精力！好在这一切都是为了新中国的建设事业，操作起来到处都是开放绿灯。因此，无论怎样劳累，他的心情总是舒畅的。
他和上下左右的关系都十分融洽。在中国科学院，他与郭沫若院长、各位副院长，以及全院职工都以事业为己任，友好相处，互相尊重。长春地质学院成立时，院领导和教职员工请求李四光为“地质宫”3个大字题额。他认为自己的毛笔字远不如郭沫若写得好，便转请郭老潇洒挥笔。郭沫若也称李四光为李老，而且总当众人之面赞颂李四光为“国宝”。在地质部，他与副部长、党组书记何长工也同样互相尊重。一位老科学家与一位老红军战士，往往在重大问题决策上不谋而合。李四光待人真诚，礼贤下士。故在地质部机关乃至全国地质系统及科教界有口皆碑。他与水利部、燃料工业部等各单位的关系也极好，不止一次和水利部部长傅作义等联合进行资源考察。
毛泽东和周恩来等党和国家领导人，在思考实现第一个五年计划，对李四光寄托厚望。1954年，毛泽东、周恩来特别关注我国的石油前景。这是因为，外国科学家们一向认为中国的幅员属于“贫油”地带。旧社会的中国，石油基本依赖进口，新中国成立后，很多帝国主义国家对中国实行“经济封锁”，致使国内的石油燃料相当短缺，严重阻碍各项事业的建设与发展。李四光被请到中南海。毛泽东、周恩来共同征求他的意见。谈到这个话题，李四光有着述说不尽的科学见解。早在1933年，他发表的《东亚构造格架》论文中，就已经圆满地同答了这个问题。他先从整个新华夏体系的一个巨大宏伟的“多”字形构造体系说起，接着便滔滔不绝地讲到我国石油燃料分布与蕴藏的实际话题。他面对主席和总理严肃地汇报说：
“在我国，第三沉降带的呼伦贝尔——巴音和硕盆地，陕北一鄂尔多斯盆地，四川盆地；第二沉降带的松辽平原，包括渤海湾在内的华北平原、江汉平原和北部湾；第一沉降带的黄海、东海和南海都存在着有经济价值的沉积物。这些话，都是我过去在外国讲的，所以故意说得含糊些。其实，它们就是天然石油和天然气。而方才说的那个‘多’字形构造的对扭性质，使它们有条件成为雁行排列的良好储油构造。因此，仅就新华夏体系而言，仅就石油而言，且不说其他的构造体系和其他资源，单从新华夏体系的沉降带分析，则可断定既生油，又储油。这就是说。我国天然石油远景辉煌，我们地下石油的储量确实是很大的……”
周恩来听到这里，面含笑容地称赞说：“我们的地质部长很乐观。我很拥护你。”
毛泽东也坦然地笑出声来：“我们都拥护你啊。”
李四光自然也受到两位领袖的感染而笑了。为了解决实际问题，他向毛泽东和周恩来提出地质部和燃料工业部，特别是其中的石油管理局等相关部门联合起来，统一作战，避免各自为政，集中人力物力进行石油勘测。
李四光的建议获得党中央的赞同。不久，周恩来在国务院的一次干部大会上，明确指出：“石油在我们的工业中是最薄弱的一个环节……首先是勘探的情况不明。地质部长很乐观，对我们说，地下蕴藏量很大，很有希望。我们拥护他的意见。现在需要做工作，所以要有一个单独的石油工业部。”
1956年3月，中央决定：由地质部、石油工业部和中国科学院联合组成全国石油地质委员会，李四光为主任委员。于是，一场大规模的全国石油勘探战役打响了。李四光决定由孙殿卿等数名一流地质学家各自带队，分别奔赴新疆、青海、四川、华北、东北各个战场，接连取得可喜的战果，其中尤以东北地区的战果令人震惊。他们在松辽平原的勘探中，确认这里的新生代沉积厚度竟达四五公里，肯定拥有大量石油蕴藏。
李四光运筹帷幄，决胜千里，经过党中央和国务院批准，把松辽平原作为石油勘探的主战场，提出“三年攻下松辽油田”的战斗口号。松辽平原勘探队不负众望，连续向李四光汇报进展战果：
1958年2月，吉林省扶余县和前郭旗的石油钻井中，首次发现厚达70厘米和50厘米的含油砂岩层。
同年6月17日，长春附近的公主岭西北场大城子镇的钻井中，发现厚达三米以上的砂岩层，而且岩芯取出之后则有原油渗出。
同年9月24日，黑龙江省肇州县高台子钻井中喷出工业油流。
同年9月26日，扶余县雅达红构造块的钻井也喷出工业油流。从而迎来了1966年震惊世界的大庆油田总会战。
党中央高兴！国务院高兴！全国军民无不欢欣鼓舞！
然而，李四光并未由于初战告捷而满足。他向广大地质和石油工作者进一步指出：“松辽出油，别开生面。但是，我们还要把眼光再往远放，跳出松辽门槛向南转移。这就是辽河下游，渤海及华北平原。”
1960年，在李四光理论指导下，石油普查大军向辽东半岛与华北平原前进，相继打出了当时国内产量最高的一批批油井，命名为胜利油田。
至此，“中国贫油”的帽子彻底被摘掉，从而结束了中国人只能使用“洋油”的时代。
1964年12月，周恩来在第三届全国人民代表大会上作政府工作报告。其中兴奋地指出：“第一个五年计划建设起来的大庆油田，是根据我国地质专家独创的石油地质理论进行勘探而发现的。”
李四光流泪了。泪水不是源于总理的表扬和会场的赞叹，而是出自那几十年苦心建树的地质理论，终于在人民中国的社会主义建设事业上发挥出应有的作用！就在出席这次大会时，有工作人员告诉他，请他到人民大会堂北京厅去一下，有人请。他拎起提包准时走进北京厅的门口，刚跨前一步，发现毛泽东坐在沙发上。他深感抱歉地说：
“主席，对不起，我走错门了。”
“你哪里走错呀？”毛泽东站起身，健步走过来，紧紧握住李四光的手，“你没有走错门，是我请你来这里的。”
这时，李四光才如梦惊醒，原来毛主席是在这里专门接见自己的。
“坐，坐下嘛。”毛泽东亲切地把李四光拉到自己身边，同时落座之后，风趣地说，“李老，你的太极拳打得不错啊。”
“不行，不行。”李四光想不到主席也知道自己最近学着打太极拳的事，连忙解释说，“前几年得病，动过手术，身体不好，只在杭州学过几招儿，但是很不得要领，打得不好。”
“哈哈哈……”毛泽东爽朗地笑了起来，“我哪里知道你在杭州学拳的事啊。我这是比喻，是指你运用地质力学理论，外柔内刚，挥洒自如指挥找到大油田了嘛。”
李四光这才恍然大悟，同时被毛泽东的幽默感染得松弛许多，犹如老朋友聊天一样那么愉快和幸福。
此后，毛泽东更是喜欢与李四光在一起。就是在新年期间观看豫剧现代戏《朝阳沟》，也特请李四光来怀任堂共同欣赏。开演前，李四光向毛泽东、刘少奇、朱德、邓小平汇报石油地质委员会工作情况时，毛泽东兴奋地说：
“你们两家（地质部与石油工业部）都有很大功劳！”
刘少奇、朱德、邓小平也都对这两家表示由衷的赞扬。他们和李四光挨肩坐着欣赏舞台演出。全剧演完时，毛泽东又请李四光和其他中央领导一起登上舞台接见演员，同时合影留念。此刻，李四光觉得这是一项莫大的荣誉，这项荣誉不仅是给予自己，而更是给予地质部和石油工业都全体干部和广大职工的。
是的，李四光向来淡泊名利。他认为，一个人的生存价值应该是看你奉献了什么，而不是看你索取了什么。他觉得，世界上最快乐、最幸福的事情莫过于为追求真理而奋斗。这就是李四光，一位理想崇高而生活简朴的伟大科学家！