彭桓武这一时期，既是清华、北大物理系教授、研究生导师，又是中科院近代物理研究所研究员；既是研究所副所长、理论组组长，还是研究所图书馆馆长。他的办公室同时也是图书馆。彭桓武为了袓国核科学事业的起步，在这时所从事的工作，不但是教授、科学家、领导者，同时还是个勤杂工。他和他同时代创业者的这种无私奉献和艰苦奋斗作风，为中国近代物理研究所，为祖国的核科学事业奠定了坚实的基础。后来者沿着他们脚下的路，踏着他们的足迹，为原子能事业在中华大地扎根，曾走遍祖国大江南北，曾舍弃大城市去最艰苦、最荒无人烟的沙漠，曾甘受最不公正的待遇，而奉献出最美好的青春和荣誉……
1953年10月，中国科学院近代物理研究所更名为“中国科学院物理研究所”。1958年7月，又更名为“中国科学院原子能研究所”
据不完全统计，从1959年至1965年7月，从原子能研究所调出去的科学技术人员共计914人，其中正副研究员、正副总工程师28人，助理研究员、工程师147人，研究实习员、技术员712人。同时，为部内兄弟单位培训1706名科学技术干部，为高等院校等单位培训1185名科学技术人员，为全国各省市培训976名放射性同位素应用人员……这些人员中的多数都成为“两弹”攻关和核科研中的中坚力量。
曾有人感叹：在中国研制“两弹”的悲壮进军中，原子能研究所是“满门忠孝”。
原子能研究所的创业者们，在艰难困苦的条件下，建立起中国的原子能事业科学队伍，并带领这支队伍不断为事业的发展而建功立业。
彭桓武是这支队伍里一颗璀灿的明星。
早期的努力
1952年10月初，中国科学院计划局提出了制订中国科学院第一个五年计划的四个方针，即：（1)本门学科的发展，（2)社会主义建设的需要，(3)客观条件的可能性，（4)人才培养。这个方针为近代物理所的工作明确了方向。就如何制订好物理所的五年工作计划，彭桓武做了报告。报告中，他总结了建所以来工作中存在的问题，阐述了政治与业的关系，基础研究与应用研究的关系，工作与学习的关系，个人与集体的关系。动员号召大家端正科学研究的态度，以积极主动的精神关心和参与五年计划的制订。
接着，由彭桓武和王淦昌主持全所高级研究人员诚的计划委员会集体讨论，拟定全所发展的计划草案。尔后，他们动员组织无论是高级研究员还是刚参加工作的同志，对自己所从事的工作提出大胆设想，最终确定了四个组：原子核物理、放射化学、宇宙线、理论物理，以及具体的五年计划和详细的工作计划。对科技干部的要求和培养方法，他们经过讨论也取得一致意见即：通过科研实践培养人才，为发展核科学技术准备力量。
最后，近代物理所的方向和任被写进计划中：“本所五年发展方向，是以原子核物理研究为中心，为原子能应用准备条件，充分发展放射化学，宇宙线研究应获得发展。”
五年计划在明确了总的方向、任和方针的前提下，还对各方面工作明确了具体目标。在原子核物理、放射化学、宇宙线研究、理论研究方面都做了十分明确和大胆的构想。这个计划对后来我国核科学事业的发展有着划时代的意义，是全所科研人员集体智慧的结晶。
到了这年年底，为了确保五年计划的执行，钱三强、王淦够昌、彭桓武等所领导对研究机构进行了调整，彭桓武兼任四个场组中理论组的组长。
不久，近代物理所组织全体科研人员参加为期一个月的俄文速成学习班，由理论组的邓稼先执教。
小学时学的俄语，这时已被彭桓武扔得差不多了。他虚心向年轻人学习，从俄文字母学起，突击语法和词汇积累。在他和王淦昌等带动下，学习气氛十分热烈，无论刮风下雨，路有多远，全体科研人员都按时到课、认真学习。结业时，彭桓武、王淦昌、朱洪元等都获得5分的好成绩。
1953年10月，近代物理所更名“物理所”转年年初，物理所全部从东皇城根搬到西郊中关村。当时中关村除了庄稼地就是坟地，一下雨就到处泥泞，不穿雨鞋都进不了办公楼。
1955年6月，中国科学院举行了学部成立大会，彭桓武与所里的赵忠尧、钱三强和王淦昌等被选聘为数理化学部的学部委员。3月，叶企孙、饶毓泰、周培源、王竹溪等9位学部委员到物珊参观检査工作，对物理所几年中从无到有、从小到大，克服无数困难发展我国核事业的成绩，给予了高度的称赞和肯定。
莫斯科的实习生
1955年10月，彭桓武以中国特派实习生的身份乘中国国际航班飞往莫斯科。同机一起去的还有他的学生黄祖洽。他们的任是向老大哥学习核反应堆理论。
自从1942年芝加哥大学足球场下受控自持链式反应发生以来，科学家们用他们的才能和智慧又建造出不同用途的核反应堆，第一个为人类增殖燃烧的反应堆于1951年在美国建成，美国的第一艘核潜艇于1954年1月下水，苏联用于民用电力而建的第一座核反应堆于1954年6月投产。
原子能为人类的和平事业服，已展现广阔而辉煌的前景。
为了发展中国的原子能事业，建造自己的核反应堆，彭桓武开始了莫斯科的实习生活。
才到莫斯科，彭桓武就对黄袓洽说：“现在我们都是学生，有什么问题一起讨论，互相启发，共同提高，争取早日取得‘真经带回去。”他们住在莫斯科市中心的十月旅馆，每天坐班车去市郊的苏联热物理研究所学习。
负责讲课的是苏联核反应堆的权威卡拉宁教授。可过去很长时间了，卡拉宁并不授课，只让中国来的学生们自已看资料。彭桓武想：这样下去也许会错过良好的学习机会。于是，他试着拿出他多年养成的学习习惯：以向老师提问的方式向苏联专家学习。可卡拉宁教授不会说英语，而彭桓武俄语口语不行。语言障碍一时阻隔了他与老师的交流。经过反复提问尝试，他终于找到一种最佳的方法——卡拉宁不会讲英语，但听得懂英语；彭桓武不会讲俄语，但听得懂俄语。于是，彭桓武用英语提出问题，卡拉宁用俄语回答，如此交流，倒也顺畅。
在这里，彭桓武又犯了自由主义。出国前，为了保证他们的人身安全，上级再三强调的一条纪律是：绝不允许他们单独外出。但是，中午饭在研究所的食堂吃，晚饭却成了问题。其他人都是买回东西自己做，唯独他不知该买什么，就更不会做T。旅馆食堂的饭菜非常贵，于是，每到星期天，他只好一个人到附近小街的饭馆里去吃饭。
冬季的莫斯科像一座大冰窖，彭桓武穿着裘皮大衣也被冻得直打哆嗦。为了增加身体里的热量，他每个星期天中午都去附近一家饭馆喝“巴库牛尾汤”。这种汤带有浓正的高加索地区风味，既好喝又便宜。
在莫斯科学习期间，彭桓武和同志们没有娱乐时间，一次最大的艺术享受是坐在莫斯科大戏院最便宜的座位上看芭蕾舞表演。
在这里，除了看资料，彭桓武、黄袓洽每星期都参加所里的学术报告会。有时，彭桓武代表中国前往设在杜布纳的联合原子核研究所开会，与其他社会主义国家的科学家交流学习。
在半年的时间里，彭桓武他们掌握了反应堆理论。在对苏联援建我国的那座反应堆进行独立的物理计算时，在国内已钻研了一年中子输运理论~反应堆的理论基础的黄袓洽，还纠正了设计书中的一处错误。后来移交时，苏方认为反正你们已经可以自己设计了，索性不把设计书交给中国。
学习任完成后，彭桓武一天也不想在那里待，一是吃饭太贵，他不得不一丝不苟地算计着过日子，否则，工资吃不到月底，这令他忍无可忍；二就是他的身体这时已糟糕到了极点，从北京上飞机之前，他还能奔跑在网球场上，可这时，已无力再上球场，40岁的人仿佛一下子衰老了10年。
1956年4月，彭桓武圆满完成在莫斯科的使命，奉命回到北京。
投身反应堆和核潜艇的研制
一生中，彭桓武一直耿耿于自已没有做一名木匠，不能用双手亲自去创造美、创造财富。然而，此时，在中国核事业大厦的基础建设时期，他做着真正的“木工匠”的工作——在有限的人才中选择对核大厦有用的材料，施以无形的教化，培养扶持，使之成为中国核大厦的栋梁之材。
从莫斯科回来后，彭桓武开始培养中国第一代核反应堆的人才。在所里，他与黄袓洽、金星南一起给一批刚走出大学校门的青年系统讲授反应堆理论。
一天，钱三强送给彭桓武一本名为《核反应堆工程原理》的美国教科书。交谈中，钱三强提到二机部新报到的大学生还需要一年才能去新建的工厂工作时，深感焦虑和不安。
彭桓武说：“应当利用这一年把专业基础课给他们补上，比如《核反应堆工程原理》就可以作为课本。”
钱三强采纳了这一建议，将此事安排给北大技术物理系，彭桓武和胡济民、朱光亚共同授课。同时，他还给清华大学工程物理系的学生首次开了反应堆理论课。
几十年的学习和科研经历告诉彭桓武：无论是哪一项工作和发明，理论是至关重要的。因此，在钱三强的支持下，他不但高度重视理论队伍的建设，在较短的时间里建设起一支精干的能打硬仗的理论队伍，而且十分关注实验物理方面人员的理论水平的提高。我国原子弹和氢弹所以在不远的未来，在一个较短的时间里，取得令世人瞩目的成就，首先是因为打了“理论仗”，这不能不说是彭赋钱三强他们高瞻远瞩，运筹帷幄触果。
彭桓武辛勤躬身于学术领导和组织指挥工作，同时为钱三强出谋划策，被同志们尊称为钱三强的“参谋长”
1955年10月，经中央批准，选定北京西南远郊坨里地区兴建一座原子能科学研究新基地，后来苏联援建的一堆仪器就安装在这个基地。
坨里又称物珊二部，1957年6月后，彭桓武结束授课任，即受命搬进坨里全面负责原子能反应堆工程工作。这项工程由连培生任总工程师，籍孝宏任副总工程师。这项工作对所有的科研工作人员几乎都是第一次，许多人陌生，甚至不懂起码的常识。彭桓武把大家集中起来学习，他亲自做学术报告，并动员其他几位同志做报告。他们的报告从理论、工艺设计，讲到安装、运转、开堆，知识面广，深入浅出。当年听他课的许多科研工作人员后来都成为我国自已建造反应堆的中坚力量。
根据全所科研工作的实际情况，也为了落实《十二年规划》，彭桓武在钱三强的支持下，参照苏联的经验，结合中国的实际情况，将物理研究所原来的8个研究室和2个工程技术单位逐步发展成16个研究室和4个技术单位，其中堆理论、堆物理、堆材料、热工水力、元件考验及与反应堆有关系的工程单位形成了一条“堆工线”。彭桓武除继任副所长外，兼任第四室主任，负责理论物理工作。
这段时间，彭桓武很少回中关村所里，他把主要精力放在对坨里科研基地的全面领导和指挥反应堆理论、实验、工程、材料的工作上。
工作千头万绪，然而“运动”也一个接一个。
反右运动开始后，大量的工作时间被开会、批判所占用。人们热衷于“自由”“民主”的话题，却把应当按时完成的工作搁置一边不管不问，这令彭桓武担忧。在一次会上，个别涉世不深的年轻人口吐狂言，说物理排队，只有理论物理排第一；北大物理排理论物理第一。”彭桓武批评了这种幼稚、狭隘的认识。
在这次运动中，彭桓武是当然的“左”派。一天，在一次会上，有位年轻人大谈西方“民主自由”仿佛连外国的月亮也比中国的圆，这让彭桓武十分气愤。他在国外待了9年，亲眼所见并亲身经历过西方所谓的“民主自由”是个什么货色。当初他想回国借道美国，却要他承认“父亲不是小偷”才能得到一纸签证，这种侮辱人格的言辞也只有西方某些大国才做得出来。他结合自己的亲身体验批评教育了这位同志。
1957年冬天，彭桓武领队代表中国前往印度参加亚洲第一座反应堆开堆典礼。
一天，在住地等吃饭的时候，彭桓武遇到法国外交部部长。交谈中，彭桓武说：“英国不承认我们，美国看不起我们，这么大的中华人民共和国好像在地球上不存在。难道非等我们拿着氢弹才能进联合国吗？”
法国外长说：“你们还有时间。”
这时候的彭桓武还不知三年后自已能够亲自去干这项事业。
从印度回来后，“大跃进”运动开始。为制定全所、各室、组的跃进规划，彭桓武认认真真地三易其稿。为参加研究所的反贪污、反浪费、反保守等运动，他从坨里赶回中关村所里检査自已。这些运动占据了他许多宝贵的时间和精力，然而在他看来都没什么道理。事情过去，他就全部遗忘了。
唯独对大炼钢纽个例外。
彭桓武对大炼钢铁运动投入了发自内心的拥护和支持。在坨里二部彭桓武住的宿舍对门，他和同志们修建了一座炼钢铁的小高炉。他动员大家把家里的钢、铁废旧品献出来，还带头从自已家里拿出铁茫、烧漏的锅等东西，一有空，他就到小高炉前参加炼钢铁工作。那段时间，人们有工作找不到他时，去小高炉那儿，准能看到他正干得满面红光、汗流决背。事后，只要有人提起这段岁月，便有人戏说：“宿舍对门的那座小高炉就是彭桓武先生的。”
后来，彭桓武听说金属研究所所长李薰对这个运动提出批评，说这样干不对，这样炼钢铁既浪费又无法保证质量，对加速国民经济建设有害无利。李薰是从事冶金研究的，他的看法不会有错。彭桓武开始思考这个问题，热情渐渐冷下来。
1958年6月13日，我国第一座、亚洲最大重水反应堆于18点40分达到临界开始运转。
彭桓武、黄袓洽作为理论物理师参加了开堆值班。7月1曰，经二机部、科学院决定，物理研究所更名为“中国科学院原子能研究所”彭桓武继任副所长。
原子能反应堆工程给原子能研究所带来了第一次辉煌。一时间，周恩来、朱德、董必武、贺龙、陈毅等中央和各民主党派的负责人及人民解放军的高级将领相继前往视察参观，并给予了极大的关怀和殷切的希望。
在迎来送往的人群中，人们不见彭桓武。他从不参加这种活动，唯恐把时间虚掷在客套上。
8月的一天，刘杰代表二机部向原子能研究所下达研制核潜艇动力堆的任。
核潜艇动力堆的设计和制造，是一项综合性很强的工程技术。由于战舰作战需要，对潜艇堆提出了一系列特殊的要求，如体积小，重量轻，有高度的灵活性（如能随时起动或停止），耐冲击、耐摇摆，尤其要具有高度的安全可靠性，所有这些，都大大增加了潜艇核动力装置研制的难度。