胡适是现代中国影响力极大的人物，在文化领域的影响和地位与鲁迅堪称双璧。然而他们两人的政治倾向不同，所走的学术道路和创作道路也南辕北辙，以至成了现代中国文化战线代表左右两翼的不同旗帜。
说胡适是右翼知识分子的代表，其实并不完全恰当，他不同于新月时代的好友叶公超完全从政，竭尽全力为蒋家父子服务。相反，胡适对蒋还有许多规劝、批评，一度还差点成为在台湾首次组反对党的领袖，故准确的说法是：这个未曾加入国民党的胡适，是中国自由主义的一面旗帜。
长期游离于左右翼之间和政治与学术之间的自由主义者，常常陷入两难境地，以至“猪八戒照镜子——两边都不是人”。20世纪50年代毛泽东发动的声势浩大的批判胡适的运动就不用说了，单说台湾那边，蒋介石曾下令攻击劝他做“无智、无能、无为”三无“总统”的胡适。正因为如此，余光中说，在台湾“骂胡适是一件最安全的出风头的事……有人说他是中国人的耻辱，有人骂他是学阀，有人甚至主张把他空投大陆。”有人还说他应对大陆失守负责，因为“他抑孔崇洋，造成思想上的混乱，乃使共产主义乘虚而入”。“我的敌人胡适之”和“我的朋友胡适之”，就这样流行于海峡两岸的中国文化界。
年轻气盛的余光中也曾有过骂胡适的冲动。直到1960年春天，在一个可纪念的场合余光中首次见到胡适，看到了他自然而诚恳的风度，余光中十分感动，才觉得这位老人既平凡又伟大，和他同一时代是一种幸运，也是一种光荣。
余光中虽然公开批评过胡适的文学民主论，但私下里却敬重胡适的政治民主论。他对胡适的总体评价是正面的。他在胡适去世后写的《中国人的良心——胡适》中称：
胡先生毕竟是民主的斗士，思想的长城，学界的重镇，中国现代化运动的敲打乐器，新文学运动的破冰船。
又说：
胡适是现代中国自由思想的领袖，也是现代化运动的一大功臣。没有胡适，我们眼前偏见之雾将更浓。没有胡适，我们和民主的距离将更远。没有胡适，我们的教育将更不现代化，更不普及。
台湾的仇胡派在指责胡适“胡适何适”的同时，还抛给他一顶不爱国的帽子。余光中认为：胡适以古稀之年迢迢来归，虽然学问上并没有取得重大的成就，但总算将这把老骨头光荣地埋在属于中国的台湾这座孤岛上，这难道不算爱国？这难道又是什么“个人主义”？这何尝又不是敢负责的儒家精神的体现？
余光中虽然认为胡适是一个伟人，但不主张对他过分崇拜，因为盲目崇拜和盲目诋毁同样有害。有人把胡适浅显至极的新诗一登再登，断章取义把他的话当广告利用，把他的遗闻轶事一传再传，甚至把他称为伟大的作家和诗人，还有人举荐他去做诺贝尔文学奖的候选人，余光中就很不以为然。在余氏看来，“胡适鼓吹白话文学，使文字与语言再度结合，乃年轻了久已暮气沉沉的中国旧文学。此举可以比之欧洲的文艺复兴和华兹华斯的反古典运动。然而胡适在中国文学的地位并不足以比拟但丁或华兹华斯。本质上他是一个改革家、运动家，不是一个作家。固然，他也写新诗和散文，可是在他的作品中，思想传达的成分仍浓于艺术的创造，亦即说明多于表现。他主要是一个思想家；他的新诗充其量像爱默生或梭罗的作品，但缺乏前者的玄想及后者的飘逸，不，有时候他的新诗只是最粗浅的譬喻而已。”余光中说他不是一位作家，这是很大胆的论断，他用的是高标准。余光中举例说：
我大清早起；
站在人家屋角上哑哑的啼。
人家讨厌我，说我不吉利——
我不能呢呢喃喃讨人家的欢喜。
胡适这首诗尽管可能引用来印证胡适的思想或人生的态度，但在艺术上是不及格的。诗中所用的一点象征浅近而现成，没有联想的余地，就像是盖在思想上的一层玻璃，本身没有什么可观。
在文学欣赏上，胡适不能欣赏杜甫的佳妙，对西洋的艾略特也知之甚少。他有关欣赏的看法过于表面和肤浅，不少地方失去了学者的风度而显得随意，如他对文学的要求仅止于平易、流畅、明朗，这是作文的起码要求，而不是优秀作品必备的条件。这就难怪胡适的散文虽然有平易近人的美德，却缺乏“透过深刻的平易，密度甚大的流畅，超越丰富的明朗”。这样的散文只能算是宜于议论的思想家的散文，而不能算是文学家宜于把握美感经验的美文。作为打倒文言文的语言革命家，胡适还来不及把自己锻炼为语言的艺术家。从本质上来说，胡适不是一位艺术家，“他欠缺艺术的气质和才华，他写不出《神曲》、《水仙》、《告别武器》、或是《荒原》”。
余光中亲炙胡适的机会远未有拜访梁实秋频繁，但也有可纪念的时刻。1961年，余光中出版英译诗集《中国新诗选》时，美国驻台大使莱德特别为其举行庆祝酒会，胡适也前来祝贺，这给余光中很大的鼓舞。1962年胡适去世，余光中先后写诗作文哀悼这一代启蒙大师。在南港谒过胡适灵堂之后，他写了题为《香杉棺》的诗：
盛中国人最美丽的样品
盛着新闻，盛着历史
六尺的香杉木何幸运
抚隔音的棺盖，有异样的震颤
逆手指而上，逆神经而上
震落一滴晶晶的悲哀
因此中卧北京最大的敌人
当他呼吸，半个中国惧
半个中国哭，当他瞑目
这里说“北京最大的敌人”，是指20世纪50年代北京发动的大规模的批判胡适运动。“半个中国哭”，是指台湾对胡适的哀悼。这说明余光中一直认为台湾是中国的一个组成部分。
在文学上，胡适的瞑目对余光中来说，那象征着中国新文学史第一章已写完，《尝试集》的作者离去只是最后的一个句号。他深情地自信说：“第二章已写下了绪论，但仍留下大片的空白，等我们去飞跃。”