于是在伦敦，英国的新闻界对山本五十六的表现进行了大肆报道和宣传，称山本说话面带的笑容是“钢铁微笑”。据说英国前首相劳合·乔治得知后，在其私邸约请山本，对山本说：“戴维斯惊叹他在华盛顿遇到的小鸟，现在变成一只老鹰了，而我不这样认为，要我说，你是一只鹫，伦敦之鹫。”
但不管山本有多么强的狡辩能力，日本所提出的扩张要求的本质却是无法改变的。因此在美国代表洞悉这是山本的讹诈后，便顺水推舟，表示愿意就此与日本谈判，这时山本这只狡猾凶猛的“伦敦之鹫”便黔驴技穷了。他意识到美国就是要把日本往单方面废除华盛顿条约的窘境里逼，只好急忙电报国内。这是山本在伦敦期间很少的几次向国内请示之一。本来独断的山本，自恃自己的判断力和敏锐的观察力，相信会轻松赢得谈判。他在出发前海军大臣为他举行的欢送会上要求授权：“在符合总谈判方针、原则、指导思想的前提下，请给我一个根据当时谈判的具体情况，在不经向国内请求的情况下可做出某种决定的权限。”这一次被美国代表将了一军，他也感到为难了。
日本关东军进攻沈阳中国军队营地。日本政府接到电报后，在谈判问题上毫不退让，日本国内舆论也再次掀起了“对外强硬”的狂潮。于是日本政府狗急跳墙，按预定部署，宣布废除海军限额条约。伦敦裁军预备谈判不欢而散。而日本也终于在1936年1月15日退出了伦敦裁军正式会议，世界海军强国由此进入了无限制的造舰竞赛时期。
通过两次裁军谈判，山本五十六对世界海军大势的发展更加明了。他之所以不同意舰队派主张在主力舰方面与英美平起平坐，而赞成条约派的观点，是因为他对美国的工业潜力了解较多。他曾说过：“仅看看底特律的汽车工业和得克萨斯州的大油田，便可明白：我们把美国作为对手，与其进行毫无限制的建造军舰的军备竞赛，一开始就是错误的，是我们日本国力所承受不了的。”他认为，日本如果卷入和美国无限制的造舰竞赛，将无可避免地使日本耗尽资源。他希望日本接受德国的教训，目前要不事声张，避免过分刺激英、美，应冷静、慎重地去充实自己的实力，特别是加速航空兵力的发展，果能如此，则让英美向日本磕头的日子就为期不远了。他在伦敦会议期间写给亲信部下三和义勇的信中说道：“我等弱者在强者（英国的首相、海相、外相和美国代表及两国的参谋长）面前，奋力周旋。他们心里虽然并不满意，但在这种场合，也不得不强作笑脸，倾听我们的愚见。不可否认，我帝国之国力较之美国确有天壤之别，这一点不能不令人暗自惊叹。是时，吾等深感日本帝国是到了谨慎自重、发奋图强的时候了。”
他接着继续写道：“可以想像，大战（第一次世界大战）前的德国，如果再忍耐50年的话，它当今也能同欧洲强国相匹敌。前车之覆，后车之鉴。今天我们日本帝国必须冷静自重，积蓄力量，盛国强兵。尽管此次谈判已毫无胜利可言，但只要我们能清醒地意识到上述各点，并使之付诸实施，将不愁英美拜倒在我们的麾下。”
最后他满怀信心地说：“对海军来说，至为重要的也是谨慎自重，艰苦努力，当务之急就是无论如何也要迅速发展海上航空兵。”
甲板试飞
山本五十六的个性当中，最为突出的恐怕就是他无论在工作中还是在闲暇时的勤奋与刻苦、处事上的果断与坚决，以及思想的成熟与目光的敏锐。正是这些过人的特点，把山本五十六一步步送到了日本帝国海军联合舰队司令、日本海军大将的高位上。
山本五十六自从海军大学毕业后，便显示出了一股强劲的上升势头，许多人都对山本的前途十分看好。但是，对山本五十六仕途预言最为精确的当属他的一个情人鹤岛正子。这位对山本五十六一见钟情，而且一生未嫁、始终对山本充满感情的女人，早在山本还是一名大尉的时候便断言：终有一天，山本五十六会青云直上，最终成为一名海军大将。
1928年3月，踌躇满志的山本五十六带着第一次世界大战后西方军事领域最新的发展动向及新思想回到了日本，先到海军军令部进行了短暂的任职，时间不足半年，同年8月他担任了轻巡洋舰“五十铃”号舰长职务。
熟悉山本五十六的人，都认为让智谋过人的山本大佐出任“五十铃”舰长实在是大材小用。山本在海军大学的一些同学及朋友，甚至怂恿他干脆辞掉这一卑下的职务。
但是，山本五十六对于同学及朋友的劝告只是微微一笑，他暗自想：燕雀安知鸿鹄之志哉？其实，山本五十六早已洞察了海军上层让他担任“五十铃”舰长的良苦用心。之所以如此安排，完全是为了让长期在陆上工作的山本五十六，能够尽快熟悉海上生活与作战情况，这是他升迁过程中必不可少的一个重要训练环节。
当时，“五十铃”号轻型巡洋舰驻泊在横须贺港，主要任务是为“山城”号战列舰的演习拖航靶舰。为了执行任务，“五十铃”经常早出晚归，这为山本五十六学习驾驶技术和指挥调动舰只提供了有利的条件。
在任“五十铃”舰长期间，山本同部下建立了非常融洽的关系，同时，也表现出了山本五十六的指挥艺术。
当时“五十铃”舰上正在盛行一股“麻风”，大大小小的军官们经常聚在一起打麻将赌博，甚至在操练时间许多人也在偷偷地打麻将。这股“麻风”无疑对正常的训练活动带来了很大的影响。以前的舰长一旦发现下属在玩麻将便怒形于色，当场予以严厉的批评与训斥。这样一来，舰长与属下之间便有了很大的隔阂，军官们在打麻将时便派专人盯着舰长，通风报信，因此“麻风”仍屡禁不止。
山本五十六来到“五十铃”后，对这股“麻风”有所了解，但他遇到属下在打麻将不但不批评，而且还笑嘻嘻地站在一旁兴致勃勃地观战，看胜负如何。山本一下便拉近了与属下的距离，他们感到山本五十六是位和蔼可亲、容易接近的长官。
本来深谙麻将与赌博之道的山本五十六，佯装对麻将一窍不通，他开始向属下们“求教”。一次，他看到近藤少佐等在打麻将，便凑过来说：“给我讲讲，这玩意儿怎么个玩法？”
听完近藤等人的讲解，山本五十六非常自信地说：“好！我明白了，现在就试试吧！”此后一连几天，山本凭着他出色的赌技，几乎掏空了那些喜欢打麻将赌博的军官们口袋中的钱。
有一天，山本五十六把全舰官兵召集起来，他先是温和地把打麻将赢的钱悉数还给下属们，然后他表情突然一转，面带一种不可抵抗的威严说：“这几天，我陪大家玩了个够，我也非常喜欢玩麻将，但是我山本从今天开始决定不再玩麻将了，我也希望诸位不要再在操练时间打麻将，为了帝国海军的前途，请你们自律！”
就这样，山本五十六终于刹住了“五十铃”巡洋舰上的这股“麻风”。
1928年12月，在担任“五十铃”舰长仅4个月之后，山本五十六又奉命出任了“赤城”号航空母舰舰长。
“赤城”号本来是日本计划建造的一艘战列舰。为同美、英海军，尤其是同美国海军相抗衡，取得太平洋的霸主地位，日本海军于1920年制定了庞大的“八八舰队计划”（以8艘战列舰和8艘战列巡洋舰组成），“赤城”号就是该计划中的第6号新式战列巡洋舰。该舰1920年在横须贺造船厂动工建造。但华盛顿裁军条约的签订，使得“赤城”号的建造计划一度停止。但是，由于日本海军航空母舰可拥有81，000吨，而当时却只有一艘小型航母“凤翔”号（7，500吨）。日本决定将停建的“赤城”号改建成航空母舰。1925年4月实施改建工程，1927年3月终于建成航母“赤城”号，随即编入现役。“赤城”号标准排水量29，500吨（对外称为26，900吨），航速31．7节（公布为28．5节），成为仅次于美国航母“列克星敦”号的世界第二大航空母舰。
出任“赤城”号航空母舰舰长可以说是山本五十六梦寐以求的事，因为当时的他正在全神贯注于日本海军航空兵的建设，能够亲任航空母舰舰长，这对于实现他“航空制胜”的思想是有着极其巨大的推动作用的。
准备起飞的日军舰载机。站在“赤城”号航空母舰的飞行甲板上，山本五十六不禁感慨万千。他远望着波涛起伏的大海，内心也一如这波涛上下起伏，并被一种十分矛盾的感觉压迫着。日美之间在远东地区矛盾的发展使他感到十分忧虑。山本五十六深深地叹了口气，他在心里一遍遍地问着自己，如果日美将来终有一战，那么，日本如何才能避免失败呢？一个声音马上便回答着他的疑问：日本的失败是难以避免的！这个声音仿佛从遥远的大海彼岸传来，又仿佛是他自己的声音。
一群白色的海鸥展翅飞翔，迅速地在他的眼前掠过。山本五十六不知不觉攥紧了拳头，他心中暗自想着：如果战争不可避免的话，则必须设法在开战之初便争取主动，除此之外，日本已经别无选择。
山本五十六任“赤城”号航空母舰舰长的一年时间内，日本的海军航空兵有了非常大的发展。
1930年12月，参加伦敦国际海军裁军谈判归来的山本五十六被任命为海军航空本部技术部长。1933年10月，山本五十六又爬到了第1航空战队司令官的位置。第1航空战队的旗舰是“赤城”号。时隔仅两年，山本五十六再次登上了“赤城”号航空母舰。
山本五十六出任第1航空战队司令官的这一段时间，潜心研究了中国的《孙子兵法》，由于幼承家传，山本的中文功底是比较深厚的，因此他对《孙子兵法》的研究已经有了一定的深度。他特别推崇孙子的“知彼知己，百战不殆”、“致人而不致于人”等作战原则。
有一段时间，由于“赤城”舰上的官兵染患了痢疾，因此，第1航空战队司令部不得不将旗舰暂移至“龙骧”号航空母舰上，当时的“龙骧”号舰长是桑原虎雄。有一次桑原虎雄上厕所，一推门看到山本正坐在马桶上看书，一看书名才知道是《孙子兵法》。山本看到桑原虎雄进来，便拿《孙子兵法》来考他：“桑原君，你对孙子的‘不可胜者，守也；可胜者，攻也’是怎么理解的？”桑原虎雄对（（孙子兵法》略知一二，遂答道：“这可能是说仅靠防守，是不能赢得战争的，必须要进攻。”
山本五十六夸赞道：“桑原君说得好！如果发生战争，我日本帝国也必须要在战争中首先发起进攻。攻敌之不备，只有这样，才能取胜。”
可见，在山本五十六的头脑当中，主动进攻的作战思想已经逐渐形成了。
1934年9月，山本五十六在任第1航空战队司令仅十个月后，又接到出使伦敦参加国际海军裁军会议预备会议的命令。
1935年12月，山本五十六被任命为海军航空本部部长。
所谓的海军航空本部，是从海军舰政本部独立出来的一个部。但是，该部自独立以来的历任部长都依然对舰政本部唯命是从，不敢有任何违命之处。一有事情，航空本部从来都不敢正面阐明自己的意见与计划，总是试探着舰政本部的意图然后行事。
但是航空本部与舰政本部并非没有分歧。舰政本部认为，航空本部一味强调飞机的重要性，言必称“增加航空军费”，然而航空本部的飞机甚至在遇到小雨的情况下就不能起飞，更不用说在大风大浪之中进行作战了，由此看来，飞机在未来的战争中究竟能起多大作用昵？舰政本部提出了他们的疑问。
航空本部在此问题上则认为，舰政本部的疑问正是由于航空本部军费不足所致，如果舰政本部肯把建造军舰的军费抽出一部分来增加航空预算的话，日本的海军航空力量一定能展现出崭新的面貌，其战斗力也将充分显现出来。
两种意见冲突的结果，往往均以航空本部的忍让与迁就而告结束。
但是，山本五十六的到任却彻底改变了航空本部的地位。
山本五十六与历任部长的不同之处是，他工作热心积极，与下属打成一片，深得下属的信任。他处事大胆自信，对舰政本部的错误意见毫不迁就，敢于直言。
1936年12月，海军在定期的人事变更过程中，海军大臣永野找到时任航空本部部长的山本五十六，打算让山本出任海军次官。
永野修身为人极易冲动，为事喜欢自我夸大，与务实、踏实的山本性情截然相反。而且，山本五十六当时正在致力于发展日本海军航空兵，而航空本部部长的位子显然正适合当时山本的需要。俗话说，道不同不相与谋，山本对永野的“提拔”给予了委婉的拒绝，永野修身大感意外。同时，永野修身对于山本拒绝出任他的副手感到很不高兴，但他又感到非常需要山本的帮助，山本是他物色已久的人选，实在有些不忍就此放弃。因此，他决定进一步对山本施加压力。他找来山本，面带不满地说：“去年，在我奉命作为帝国全权代表前往伦敦参加海军裁军会议时，让你作为随员陪同前往，你执意不从。如今你又拒绝当我的次官，是不是对我永野修身有什么看法，存心不愿同我配合？”
永野说的海军裁军会议是指继1934年山本参加伦敦海军裁军预备会议后，于1935年在伦敦召开的正式会议。永野作为日本帝国的全权代表前往参加，临行前曾邀请山本作为他的随员一同前往，但山本给予了拒绝。正是在这次会议上，日本退出了裁军谈判，宣布不接受3：5比例的限制。
山本五十六听到永野修身大将说出了这么一番话，一时有些不知所措，同时他又考虑到海军的规矩，感到已经不能再推辞，便说：“卑职岂有存心不同阁下配合之意，卑职只不过担心自己不能胜任次官重职，恐有辱阁下厚爱而已。”
就这样，山本五十六从此开始了他历时二年零九个月海军次官生涯。期间，他经历了四届内阁：广田、林、近卫（第一次）和平沼内阁。
在山本就任海军省次官不久，刚从海军大学毕业的青年军官高松宫宣仁亲王（天皇的弟弟）来海军省报到，在军令部任参谋，当时他为少佐军衔。高松宫未来报到之前，首席副官近藤特意从有关方面打听到他来海军省军令部报到的准确日期，准备在这一天召集大家到海军省门前列队欢迎。就在他一切准备工作均已就绪的时候，山本五十六得知了这一情况。素来很少斥责下属的山本立即让人把近藤叫来，毫不客气地将他训斥了一顿。
山本严厉地质问近藤说：“喂，宫（亲王）是以宫亲王的身份来海军省呢，还是以一个普通海军少佐军官的身份来就任参谋呢？请你告诉我，他到底是以什么身份来的？”
近藤见山本五十六真的生了气，慌忙说道：“他当然是以少佐的身份来就任参谋的。”
“好！如果是以少佐军官的身份来，就应该以对待别的少佐军官一样的方式来对待宫（亲王）！要知道，海军中是绝对不允许有高低贵贱之分的，至少在我山本任职期内！”