胡适给我报告严侨的信，由姚从吾老师代转，乃因他们是师生关系，而姚从吾老师正好跟我也是师生关系。1985年，胡适来台，主动安排我和胡适见面的，就是姚从吾老师。历史系老师虽多，但跟我关系最深的，不是别的老师，而是他。姚从吾老师做过北大历史系主任、河南大学校长。他拙于口才，讲话时先是张开奇厚的嘴唇，下颚乱动，满口乱牙翻滚，然后发音，我心想物理学上光比声快，此之谓也。他的声音中气十足，道地是河南男低音，配合上他那厚实朴拙的造型，俨然一副中原老农相。他冬天穿两种衣服，一件是灰色西装上衣，衣奇大，是从估衣市场买来的旧货；一件是阴丹士林长袍，长袍下有白衫裤，白衫裤与短袜子间，永远露出一截小腿。说来也许奇怪，姚从吾老师在我大二教我《辽金元史》（上学期他给我八十六分，下学期八十八分）；大三教我《史学方法》（上学期九十四分，下学期八十六分）；大四指导我写“论文”（九十四分），但我总觉得，在学问上，他对我的影响极为有限。尤其大四写论文，他对我实在没有什么指导可说（为了跑图书馆，他倒给我写了不少名片）。我敢说，他对我的论文——《夫妻同体主义下的宋代婚姻的无效撤销解消及其效力与手续》，全无研究。他只能给我改一处笔误而已。我在论文第二章第四节“外姻而尊卑为婚”内，徽宗“政和八年”条下原注说：“政和只七年，洪迈此乃重和元年之误，是年为1118年。”姚从吾老师看了，加注说：“政和共八年短两月。”“重和改元在戊戌十一月己酉朔（《宋史》卷二一）。”他又拿给赵铁寒看，赵铁寒也加了一注，说：“……政和八年戊戌，是年十一月一日改元重和，见李伋《宋朝事实》卷二及《宋史·徽宗纪》，洪〔迈〕氏不误。”写到这里，就看出姚从吾老师的伟大处。他对我的论文不在行，但他与人为善，不耻下问，拿去给赵铁寒看。赵铁寒是师大教授兼办《大陆杂志》，回信给他说：“‘李君天分很高，能放大找材料，更长于组织与剪裁。剖析问题，如剥笋如抽茧，有探骊得珠之妙。至偶有荒疏之处，青年人常情，不足为病。’我公赏识足以服众也。”其实，赵铁寒也未必对我的论文在行，也只是改笔误而已。事实上，我的成绩，在台大已经极为突出，识货的教授们早已寒我。这由后来考研究所的一幕上可知。考研究所口试，众教授（姚从吾老师在内）环坐，但没人“敢”提问题考我，最后主试者文学院长沈刚伯问了一句：“你还要穿长袍吗？”遂在大家一笑状态下，考取了。这个故事，使我想起科学奇才奥本海默，奥本海默在哈佛读书，三年时间就修完四年功课，二十三岁到德国哥丁根大学，三星期就得到博士。他的量子力学论文使主考教授甘拜下风，主考教授在口试后说：“幸亏我趁早开溜，他已经反过来向我发问了！”赵铁寒说姚从吾老师赏识李敖“足以服众”，这倒是真的呢！姚从吾老师天资不高，在学问上，虽然与他的际遇和努力不太相称，但他在学问以外方面，对我倒启迪颇多，帮助颇多，令我一生感恩难忘。我在1963年1月1日的《文星》第六十三期里，发表《十三年和十三月》，轰动一时，其中有一段谈到他和我的关系：
新店乡居是我二十七年来最淡泊、最宁静的日子，这段和自然接近的生活给了我深刻思考的机会，在青山里，在绿水边，在吊桥上，我曾细想我该走哪一条路，怎么走这条路。
多少次，在太阳下山的时候，我坐在姚从吾先生的身边，望着他那脸上的皱纹与稀疏的白发，看着他编织成功的白首校书的图画，我忍不住油然而生的敬意，也忍不住油然而生的茫然。在一位辛勤努力的身教面前，我似乎不该不跟他走那纯学院的道路，但是每当我在天黑时锁上研究室，望着他那迟缓的背影在黑暗里消失，我竟忍不住要问我自己：“也许有更适合我做的事，‘白首下书帷’的事业对我还太早。寂寞投阁对我也不合适，我还年轻，我该冲冲看！”
于是，在寒气袭人的深夜，我走上了碧潭的桥头，天空是阴沉的，没有月色，也没有星光，山边是一片死寂，一片浓墨，巨大而黑暗的影子好像要压到我的头上来，在摇撼不定的吊桥上，我独立、幻想，更带给自己不安与疑虑。但是，一种声音给了我勇敢的启示，那是桥下的溪水，不停的、稳健的、直朝前方流去、流去，我望着、望着，不知什么时候，出现在我眼前的溪水已变成稿纸，于是我推开《窃愤录》，移走《归潜志》，拿起笔，写成了投给《文星》的第一篇文字——《老年人和棒子》。
《老年人和棒子》登出的时间是1961年11月1日，那是《文星》第四十九期。我终于把自己投进急湍里去了。没投阁先投水，这是自己作弄命运。这一转向，固然是我性格上不甘于“白首下书帷”，另一个原因，也是我困于生计使然。原来助理薪水三月一发，又不准兼差，寅支卯粮，也得支得到粮才成，可是从何支起？何况我在夏天又考上研究所，按任用助理的规定，助理是专任，研究生不能做，所以专任助理的一千元薪水没有了，只能拿研究生的研究费四百元，四百元对我，显然无法做研究。当时姚从吾老师打算由杨培桂接替我的助理职，由杨培桂把台北商职的教员职务让给我，算做私下交换。可是北商那边一个萝卜一个坑，有坑要填校长自己人，不同意杨走李来，所以最后也泡汤了（施珂出国前，想把成功中学的教员职务让给我，也被校长拒绝，理由同上）。当时我所以考研究所，自信考取后虽然丢了专任助理职务，但因为研究生可兼助教，所以可“失之东隅，收之桑榆”。不料考取后，沈刚伯为了抵制我，突然废除了研究生兼助教的规定，硬定另聘助教，所聘者王德毅等人，却都是考不取研究所的。这种措施，当然使我不服气。后来我弃研究所不念了，沈刚伯见我走了，又恢复研究生可兼助教了。
1961年12月13日，我有长信给姚从吾老师，其中说：
长期会的本意在安定学人生活，在长期经援的安抚下，我这个小“学人”也分到一千元（配济、房子，图书费、车马费兼而有之）。这个数目，仅够维持一个学生的最低的生活，而不是一个“学人”的最低生活。
一个学人的最低生活标准是一间安静的小房（不是十人一间的宿舍），深夜可看书（不是在宿舍偷点蜡烛），每月可以买几百元的书，看两场电影，吃一次老爷饭店（虽然我从来没去过）……
我对生活标准看法是，一个敏感的青年人，他的精神已经痛苦太多，我们没有理由再要求他在肉体上、生活上，再吃更多的苦；没有理由说他租一间小房，逃开城市和俗人的喧嚣，每月花光一万个一毛钱是奢侈！
五年的宿舍生活，一年的军中生活，使我深深感觉到：群众是独立思考与做学问的敌人……
没有人相信我穿的衣服没有一件不是老子的余荫，没有人相信我要筹还大学时代的零星旧债，没有人知道我为买书而存下半年吃早饭的钱。
我想起《东轩笔录》中的那个故事。范仲淹奇怪那个孙秀才为什么年轻有为却“汲汲于道路”，当他知道孙秀才志在“日得百钱，则甘旨足矣”的时候，他决定做此人“日可得三千”，为了使其人能“安于为学”。十五年后听到孙秀才变成一代大儒孙明复了，他忍不住感慨说：“贫之为累大矣，倘索米至老，则才如明复，犹将汩没而不见也！”
也许我真该后悔我念这个研究所，每月四百元公费，能专心研究什么？如果为生活不得已去“汲汲于道路”，把青春的兴趣浪费在穿衣吃饭上，那倒不如干脆去近史所或“国史馆”来得好！（我不觉得我不够资格，至少“成绩单”不如我的同班同学都在那里受着“高酬”。）因为那些地方至少把我的学力、兴趣与谋生打成一片，学问即在饭碗中，饭碗即在学问中，不必靠偷改作文或乱写稿子来赚外快。
我并不是计划告别学问，可是我知道学问对于我，目前简直是一件奢侈品，做学问需要大量的安定与气质，至少对我这种“内多欲而外好学问”的人是如此。顾翊群是安定的代表，萧启庆是气质的化身，而我却什么也不是。基于这种自觉，我觉得我不能再恋栈了，我觉得我不配做您的助手，您的研究室里也不该收容这么一个文化浪人……
姚从吾老师收信后，不但写信给我，“提出一千元，送供需用”，并且一天写了三封信给萧启庆，其中说：
李敖怕是很苦了……他昨天又写一长信给我，很引起我的同情。但我已把款备好了，预备今天（礼拜六有课）给他，他又没有来，只有请您多跑一趟了。我很抱歉的是：1.兼任助理遭到意外的挫折。2.北商分校教书，也须等明年，1月内或2月初方可确定。3.李兄个性强，又不随便接受他人的帮助，您又不在，无人劝解。4.我在北平时颇有办法。现在，往往自己陷于困境，一筹莫展。奈何！这一千块钱，请他收下，以供急用……
萧启庆那时正在北投复兴岗当兵，他收到信后，在17日到21日间，又给了我三封信，最后一封说：
昨日去台大访你，结果听说你已好几天没去了，结果遇着姚老，他又要我去新店“劝”你，我虽然答应了他，但因公路局不帮忙，等了半小时车都不停，一气之下，乃径自凯归复兴岗了，若遇老头，就说我去过了……
星期日早晨我去拜访你，能否在府稍候？
陶老三来一信，也附在信里奉上。
萧启庆信中提到的“陶老三”，就是陶晋生。陶晋生是陶希圣的儿子，在历史系比我高三班，他和我一起给姚从吾老师做助理，后来留学美国。陶晋生能当上助理，固然由于他本人的程度不错，但是陶希圣过去在北大教书，又是北大毕业生，和姚从吾老师有交情，也有以致之。这时姚从吾老师见我生计困难，认为陶希圣欠他的情，颇想把我介绍到陶希圣主持的“中华民国开国五十年文献编纂委员会”，暂时糊口。他把这意思告诉吴相湘老师，吴相湘老师极为赞成。因为他一直想拉我搞近代现代史，由于姚从吾老师是他的老师，挡在中间拉我搞中古史，他就一直不便多说。这回是姚从吾老师的意思，他自然乐为奔走。他跑去找陶希圣，陶希圣立刻表示欢迎李敖去。不料姚从吾、吴相湘两位老师兴高采烈地告诉了我，我却面有难色。我表示陶希圣是汉奸，又是国民党中的红人，我实在不愿意和他接近。吴相湘老师说：开国文献会并非陶希圣一个人的，罗家伦也是主持人之一，并且你去只是帮忙编民国开国时史料，是以整理辛亥革命史为主，可以发扬先烈们的幽光潜德，跟陶希圣的身份有什么相干？国民党史料不开放，你去可以趁机看到一些史料，“不入虎穴，焉得虎子”，你还是去吧！姚从吾老师也劝我不妨暂时去，他说他和胡先生（胡适）也谈过，胡先生说不妨去。在两位老师的劝说下，我说既然如此，我就暂时去混碗饭吧！就这样，我就上了“贼船”，虽然最后因为不能“从贼”而被开革，但回首之余，仍不无悔恨。悔恨我实在不该上船。去文献会工作是我结束新店山居的最大原因，在我到文献会后两个月，我便搬回了台北。