之所以用了“旁边的金岳霖”这个小标题，因为总觉得金岳霖虽然也爱着林徽因，甚至可能比徐志摩爱的更深，因为他能够为林徽因而终生不娶，徐志摩再怎么热情似火，他是离不开女人的，他总会娶老婆。林徽因后来也很爱金岳霖，以至她都向梁思成坦白自己的心迹：她说她同时爱上了两个人。但金岳霖实在是一头闷牛，只有默默地爱，很少能折腾出什么动静，他就像是站在林徽因身边的一个仆人，爱着林徽因，但也仅仅如此，总是站在梁思成、徐志摩的旁边，一声不吭。不过他爱林徽因的方式与徐志摩倒是有一个共同点，那就是追逐——不同的是，徐志摩是乘火车、乘飞机追逐，而金岳霖是用搬家的办法追逐，梁思成、林徽因一家搬到哪里，他也跟着搬到哪里，总是毗邻而居，如影随形——不知道如果换作徐志摩用这办法追逐的话能不能成。
林徽因死后，梁思成续弦林洙曾问起金岳霖终身不娶一事，梁思成笑了笑说：“我们住在东总布胡同的时候，老金就住在我们家的后院，但另有旁门出入。可能是1931年，我从宝坻调查回来，徽因见到我哭丧着脸说，她苦恼极了，因为她同时爱上了两个人，不知怎么办才好。她和我谈话时一点不像妻子对丈夫谈话，却像个小妹妹在请哥哥拿主意。听到这事我半天说不出话，一种无法形容的痛苦紧紧地抓住了我，我感到血液也凝固了，连呼吸都困难。但我感谢徽因，她没有把我当一个傻丈夫，她对我是坦白和信任的。我想了一夜该怎办？我问自己，徽因到底和我幸福还是和老金一起幸福？我把自己、老金和徽因三个人反复放在天平上衡量。我觉得尽管自己在文学艺术各方面有一定的修养，但我缺少老金那哲学家的头脑，我认为自己不如老金。于是第二天，我把想了一夜的结论告诉徽因。我说她是自由的，如果她选择了老金，祝愿他们永远幸福。我们都哭了。当徽因把我的话告诉老金时，老金的回答是：‘看来思成是真正爱你的，我不能去伤害一个真正爱你的人。我应该退出。’从那次谈话以后，我再没有和徽因谈过这件事。因为我知道老金是个说到做到的人，徽因也是个诚实的人。后来，事实证明了这一点，我们三个人始终是好朋友。我自己在工作上遇到难题也常去请教老金，甚至连我和徽因吵架也常要老金来‘仲裁’，因为他总是那么理性，把我们因为情绪激动而搞糊涂的问题分析得一清二楚”（刘培育主编《金岳霖的回忆和回忆金岳霖》）。
不仅在北京总布胡同，早在抗战胜利后，当时金岳霖在昆明西南联大任教，在假期他就到四川李庄的林徽因、梁思成家里住，当时三人的感情就十分融洽。
金岳霖终生未娶，最后还是林徽因的两个儿子给他送的终。
金岳霖是哲学家，他思考问题总是能得出常人所不能理解的东西来。在他十几岁的时候，就喜欢逻辑推理，但当他推理中国那句“金钱如粪土、朋友值千金”的名言的时候，得出的结论却是，如果按照这句话的内在逻辑，最后结论应该是“朋友如粪土”。这似乎很有理性，但有时他的逻辑就让人觉得好笑了，辛亥革命爆发后，金岳霖很快就剪去头上的辫子，还仿唐诗《黄鹤楼》写了一首打油诗：“辫子已随前清去，此地空余和尚头。辫子一去不复返，此头千载光溜溜。”这也许只是个玩笑，可是他28岁的时候在《晨报》副刊上发表的《优秀分子与今日社会》中则为优秀分子推理说：“我开剃头店的进款比交通部秘书的进款独立多了，所以与其做官，不如开剃头店，与其在部里拍马，不如在水果摊子上唱歌。”那时候学哲学的人少，很少有人懂得什么是哲学、什么是逻辑，1926年他在清华大学教授逻辑学的时候他的哲学系只有他一个老师，他也只招到一个学生沈有鼎，结果这一年清华大学整个哲学系就一个老师和一个学生。那时候没什么人懂哲学可以理解，但他在给新生上课的时候，总是戴一顶呢子帽，而他也总是解释说：“我的眼睛有毛病，不能摘帽子，并不是对你们不尊重，请原谅。”但谁都不明白，他眼睛有毛病，和帽子有什么关系？在西南联大的时候，他讲授小说和哲学的关系，结果讲到最后得出的结论是：小说和哲学没有关系！而如果你有事请他来开解，那绝对是另一番滋味。吴宓曾将他的浪漫史写成诗，然后发表出来，其中有“吴宓苦爱毛彦文，九洲四海共惊闻”一句，金岳霖看后觉得不妥，就对吴说：“您这是私事，私事就不应该在报纸上宣传。我们天天上厕所，可是我们并不为此而宣传。”吴闻言不爽，说：“我的爱情不是上厕所。”到后来，金岳霖似乎已经生活在地球之外，理解不了地球人说的话了，金岳霖晚年深居简出，毛泽东曾经对他说：“你要接触接触社会。”金岳霖其时已八十多岁，听了毛泽东的话，就和一个蹬三轮的车夫约好，每天带着他到王府井一带转一大圈——这就是他的深入社会。
金岳霖对林徽因始终一片痴情，但他的痴情有时让人啼笑皆非，在林徽因去世一年后，金岳霖忽然在北京饭店请客，邀请了许多亲朋故旧，当朋友聚齐之后，谁都不知道他为何突然大宴宾客，而他郑重其事地说了句：“今天是徽因的生日。”有给逝去的人过生日的吗？恐怕只有哲学家认为可以，不妨替他找个解释吧，逝者如斯夫，年年如此吧。
金岳霖时常让人费解，以至连冯友兰在给他的《论道》和《知识论》写评论的时候写道：“道超青牛，论高白马。”青牛指的是哲学家老子，白马则指的是以白马非马论出名的那位公孙龙先生了。
也许，人们最能理解的就是他能够做到为林徽因终生不娶，而也只有这样的人人们才真切地相信，他和林徽因毗邻而居多年，又有后门相通，却不可能越雷池一步，当他说他退出的时候，连梁思成都相信他说到做到。