1942年毕业于浙大物理系的许良英回忆：“他平易近人，毫无架子。记得1939年10月学期开始时，我拿着选课单请他签字。他审查我所填的各个项目后，我顺便问他一句：‘听说又要准备迁校了，是否属实？’想不到他一连不断地对我一个人讲了三个多小时，从下午四、五点一直讲到8点左右，吃晚饭的时间都被耽误了，我肚子饿得发慌，也只好耐心听着。天黑了，办公室里没有灯，他依然不倦地娓娓而谈，详尽地告诉我许多有关迁校（计划迁到贵州遵义和湄潭）的具体情况。我只听着，未插一句嘴。我当时是个只顾读书（当然包括大量课外书）、缺乏活动能力的低年级生，竟会引起他如此亲切的长谈，以后我在路上见到他同一个工人也在长谈什么。可见他对人一律平等，而且健谈。他在浙大，没有教过物理系的课，只偶尔为外系讲普通物理，听说他往往下课了还在讲。以至同学们给他编了这样一个笑话：他讲落体运动，讲了一个学期，这个落体还没有落到地面。当时浙大每个有真才实学的教授，都有独特的风格。”
浙大每星期的纪念周都要请一个教授讲演，规定一小时。学生吴寿松记得，有一次请胡刚复，“胡先生善言谈，往往滔滔不绝，有如梁启超所谓下笔不能自休，所以会场上师生都窃窃私议说今天恐怕吃不上午饭了。果然，胡先生上台讲了五十多分钟才说完了开场白，竺校长就告诉他只剩下五分钟了，胡先生仍侃侃而谈，到正好一小时，竺校长请他停止，胡先生则向我们招手说：请大家等一下，但此时竺校长已采取断然措施，面向会场宣布：散会，以后再找时间请胡先生讲。于是大会一哄而散。”难怪有学生回忆说，竺可桢校长的讲演都有内容，而且能守住时间，不像胡刚复先生，话匣子一开，就滔滔不绝。午饭时间，大家都要走避胡院长，万一被他“抓”住，话匣子一开，中饭都吃不成了。
抗日战争全面爆发后，浙大成立迁校的“常务委员会”，由胡刚复分工负责研究、设计路线，勘察落脚地。每次迁校前，他都要独自或陪同竺可桢实地勘察、探路，向校务会议提出周密方案。浙大7次搬迁，历经5省，每到一地，就继续上课，创造了一个高等教育史上的奇迹，其中就有他的苦心焦虑在内。每次设计西迁路线，他总是尽量安排多走水路，并尽量保护仪器图书。在浙大暂留江西泰和期间，他还率领师生为当地筑了一条15里长的防洪长堤。第二年赣江洪水泛滥，大批农田村舍因此免遭水患。当地人为纪念他的功绩，将防洪长堤命名为“刚堤”，或叫“浙大长堤”。
为把浙大理学院办成第一流的理学院，他殚精竭虑，即使经过艰难西迁，他始终认为物理、化学、生物三个学科都是以实验为基础的，教师要做实验，没有好设备和必需的药品，就请不到好教授。千方百计保全原有的各系设备，一有机会他就去重庆教育部、文化基金会等处联系，了解有否购置新仪器和药品的外汇。王葆仁教授辞去同济大学理学院院长来浙大当化学系主任，就因为浙大化学系的研究条件好。理学院各系的图书设备都比较好，代数学教授蒋硕民有一次对竺可桢说：“浙大物理设备、数学图书甚佳，国内无出其右者。”聘请好教授当然是办学的关键，这是胡刚复和竺可桢的共识。在贵州，他不仅让原有的教授安心教学，数学、物理、化学、生物各系还增聘了许多名教授。阵容之强，在当时国内是少有的。虽然生活、实验的条件都很艰苦，但他们仍在桐油盏下创造了许多重要的科学成果。
1944年10月，英国科学史家李约瑟参观浙大，详细了解了理学院各系的情况后，公开赞美中国的抗战中的浙大、西南联大可与牛津、剑桥、哈佛相媲美。谈家桢回忆：“有些人对胡刚复先生有意见，认为他是才大气粗，但我认为他是竺先生的总参谋，他对浙大的西迁，从考察迁徙地点到搬迁定居，和对理学院的发展有着不可磨灭的功绩。竺先生为‘元帅’，饶有帅才，但是也有不足之处；胡先生是个好参谋，为之拾遗补缺。胡先生缺少竺先生当元帅的领导能力，所以有人不服，唤他为‘胡刚愎’，可他是一个大有功于浙大的好人。”
他爱护学生，每当学生遭到迫害，他总是和竺可桢校长一起设法保护或保释。1942年夏秋之际，他得到国民党当局要对助教解俊民下手的消息，几次劝说解离校，并为其在重庆找好工作。
抗战胜利，浙大迁回杭州，他已年过60，还受命带一批青年科学家到英国去学习微波雷达新技术，1948年11月才回到杭州，1949年国民党当局给他送来飞台湾的机票，他拒绝了。1949年后，他先为上海大同大学校长，后在天津大学、南开大学任教。1966年3月26日，胡刚复病逝。此前，他曾专程来杭州，目的是去胡明复墓上看看，到浙大、杭大走走，悄悄地来，悄悄地去，没有惊动任何人。
胡刚复在“中国科学社”的贡献之一是参与创建图书馆，任鸿隽曾说过：“一入国门，除随身所带的几本书以外，无书可以参考”。1919年，“中国科学社”就在南京设立图书馆，推他主持。以后，科学社图书馆收藏的国外科技书刊远远超过了当时国内几所著名大学，藏书达到20多万册。
胡氏三兄弟都是“中国科学社”的重要成员。1922年，“中国科学社”修改社章，将原来的董事会改为理事会，另组一个董事会。在江苏南通举行的第七次年会上通过，选出第一任董事九人，包括蔡元培、马良、张謇、汪精卫、熊希龄、梁启超、严修、范源濂、胡敦复。理事11人，包括竺可桢、胡明复、任鸿隽、丁文江、杨杏佛、赵元任、秉志、胡刚复等人。胡氏三兄弟两个理事、一个董事。任鸿隽在《中国科学社社史简述》中回忆，科学社的基金管理，向来由董事会的基金监察员蔡元培、范源濂、胡敦复三人担任保管和经理任务（以后添加了中国银行总经理宋汉章）。
胡敦复（1886—1978）是胡家长兄，他的主要贡献是创办私立大同大学，和编写大、中学数学教材这几个方面。早年他在上海南洋公学、复旦公学求学，深得蔡元培、马相伯的赏识。1907年，两江总督端方在江南各学校挑选15名学生赴美留学，这是留美幼童之后我国首次公派的留美学生，他与大妹胡彬夏都被选中。当年9月，他进美国康奈尔大学学习数学，仅用了两年时间就修满规定的学分，于1909年毕业，正好清廷成立游美学务处，他被招回国内，参加留美学生选派工作，1909、1910、1911年三批他经手录取的学生共180人，其中包括梅贻琦、秉志、胡适、赵元任、竺可桢以及他两个弟弟等，大部分成了有成就的科学家、教育家。1911年4月，作为留美预备学校的清华学堂正式开学，他被任命为首任教务长。同年夏天，他与朱香晚、吴在渊等11位清华同事成立“立达学社”，以共同研究学术、兴办学校为宗旨，他被推为社长。