在长达十四个月的软禁过程里，最早担任跟踪我的，是台北市警察局大安分局派出的警察，一开始是两人一组，我本来就是性喜在家的人，被跟踪后，尤其懒得出门。跟踪我的警察在我家门口，缺少运动（跟魏廷朝的是运动过度），益复无聊。他们打发无聊的方法，是聊天、逗小孩子、看过路行人，和抬头对我的四楼东张西望。他们的名字，我当然不能全知，为了辨别，我就给他们一个个暗起外号。有一组外号叫“胖子”与“小子”的，好像最坐立不安，耐心最差，我在四楼，隔着百叶窗，用望远镜偷看他们的一举一动，煞是有趣。1970年4月7日的晚上8点45分，楼下有撞车声，不久有人敲门，我开门一看，原来是“胖子”。按照他们的规定，跟监的人不准同被跟监的人打交道的，但是“胖子”满脸难为情的，终于向我开口了，他说：“李先生，真抱歉！真抱歉！真抱歉！来打扰您，您知道我是干什么的。我们在下面，刚才一个去大便，一个去小便，正好没人在，小店的小孩顽皮，趁机跑到我们汽车里，发动马达学车，一下子就冲到您停在下边的车后面，撞坏了您的车。请把车钥匙给我们，我们保证为您修好，保证修好，务必请李先生原谅！”我笑着说：“没关系，没关系，等我下去看看。”我下楼后，看到我的车屁股侧面被撞伤，那时我的车也旧旧的，我心想：“这回被撞，索性大修特修大美容特美容一次吧！”我对“胖子”说：“没关系，没关系，明天再说吧，明天你请管区警察来同我谈就是了。”
那时的管区警察叫罗翼飞，是个湖南人，人不错，跟我较熟。第二天，他果然来了。他说“胖子”拜托他来道歉，并表示“胖子”要把我的车开走，修好后还我。我问他到底车是怎么被撞的，他说根本不是一个大便一个小便去了，而是“小子”不会开车，在楼下无聊，要“胖子”教他开，不料“小子”一开就一档猛轰油门，高速起步，车就冲出来，冲到李大爷的车上了。我说：“‘胖子’闯了祸，竟还想瞒天过海，他妈的太可恶，我要收拾收拾他们。这个车，我要自己修，我才不要他们去修呢，他们修，还不是找到附近老百姓的修车厂，吃老百姓，修了也不会好好给钱，这怎么行！我要自己修。修多少钱，由他们照实赔我。”管区警察见我坚持，只好请我开估价单给他，就告辞了。
那几天，我有残余日记如下：
4月7日（星期二）
夜8点45分撞车。
4月8日（星期三）
罗警员来。夜魏谢来。警员半日讲习用望远镜及Bug。
4月9日（星期四）
下午谢来，言调查我与什么委员会的事。
4月15日（星期三）
［管区警员来］我交撞车修车估价单给他，并坚持说不能让我的保险公司赔，同时不准他们代我取车，因为不相信他们不向修车厂耍赖。
［为上面派他调查我的几件事，为取信于我］管区警员当我面写填报单，内说李敖生活无着，情绪很坏，拒不作答。无法完成任务，拟请交由原告密人调查为感云云。
他又说以后他每次按一声门铃时，可不开门。连按二次时可开。
估价单是“国产汽车股价有限公司”代开的，计开板金五千五百元；喷漆一千五百元；前保险杆一支九百元；方向角灯一个八十元；车身条修一组七百元，共计八千一百八十元。八千一百八十元在二十七年前不是小数目，管区警员看了，说这些钱不是“胖子”“小子”出得起的，恐怕得由大安分局想办法才成。说完又告辞了。
过一两天，管区警察又来了，他说他们研究的结果，李先生的车只不过屁股侧面碰坏了一点而已，怎么李先生要整个全修起来？甚至连前面的保险杆也要换新的，全部车身都要改喷，他们说李先生在吃豆腐，我说我李先生没吃豆腐，是吃刺猬。你们警察整天吃老百姓，今天就要被老百姓吃回来。你回去告诉大安分局局长，叫他识相点，乖乖把钱送来，不然我就写信给他的上司，信中写法是：“你们派人来跟踪我，我没办法，要你们撤回，是强你们所难。但是你们派来跟我的人，屎尿太多了一点，一个去大便，一个去小便，我的车，就被撞了。我现在求你们撤回跟踪我的人，固属奢求，但求你们精挑细选一下，派些屎尿少一点的干员来，你们应给予方便，如此则感谢无量矣！”管区警员听了又大笑又苦笑，说回去想办法。
5月1日，他又来了，说大安分局局长屈服，由他命令警察们凑钱，凑足了你李先生开的价码，现在钱带来了，可是局长说，有一个条件，必须请李先生帮忙，就是我们绝不承认警察撞了你李先生的车，我们抓到个计程车司机，他愿意承认车是他撞的，我们警察只是调解，由这司机赔你李先生钱，并且和解书日期要倒填二十三天，倒填在撞车那天当时，不知李先生能不能网开一面，这样和解？说着把早已写好的“和解书”和现金八千一百八十元双手奉上，我笑着说这事容易，就大家做假好了！于是，我就在对方早已签好的“和解书”上，签了字。跟我和解的对方叫“张颂德”，直到二十七年后的今天，我还不知道跟我和解的计程车司机“张颂德”是谁，是什么模样。我俩生平各有此轻功，能在腾云驾雾之中，就自相撞而言和，真不能不佩服大安分局局长的导演之妙了！我在签字以后，曾在那一份“和解书”上，自批如下：
此书三联，罗警员留我一份，另由我签名收据一纸。警察破财而欲串假戏免祸，用心亦苦矣。
1970年5月1日。“开门家中坐，财从地上来”者
就这样的，警察的钱到我手中了。
和解以后第三天，车修好了，我有残余日记如下：
5月3日（星期天）
跟踪小蕾。
5月5日（星期二）
段自台中来，言丁有友近自警界辞职，说警方盛言李敖将在本月偷渡云云。可笑哉！
今日与蕾逛西门，被跟甚紧。
胖子警员（肇事者）今天见车修好，跟小八说：“简直比以前的还好！”小八说：“托你的福。”此次赔款，据闻派出所摊派三千，余额由警察分摊。
倒霉的“胖子”，不久终于给调走了。后来警总派人接替警察，把跟踪职务全部接过去。有一天，警总跟踪我的“老郑”（郑士达）向我透露：“‘胖子’临移交时候说：可要当心那李某人，那家伙阴险无比。撞车那天，他下楼，笑嘻嘻的，满口说没关系没关系，可是没了半天关系，却把我们警察咬住不放，直到赔了他大把银子才松口。你们别以为李某人吃了我们警察，把钱拿去修车了，其实我们查出他的车保的是全险，保险公司不敢追查谁撞了他的车，只好认赔了事，所以修车全部是保险公司孝敬的，李某人拿了我们的钱，全部给他小女朋友去买花衣服了。李某人是全世界最厉害的家伙，你们可要小心才好！”我听了，哈哈大笑。我说：“这就叫‘警民一家’啊！”
在我被国民党“跟监”的日子里，“国际特赦协会”的秘书长马丁·恩纳尔斯（Martin Ennals）到了台湾。魏廷朝、谢聪敏到我家，约我一起去看马丁。我说我李敖架子很大，对洋鬼子尤其大，马丁如果真来帮助我们，就请他到我家来看我吧，我不会去看他的。听了我的话，两人都认为有理，就转告马丁。马丁倒有服善之勇，他同意到我家来，登门拜访，“行客拜坐客”。于是，就约定一天晚上来。当时我虽处境自顾不暇，却很想托马丁为在牢中的柏杨想点办法，为了加深马丁的印象，我请小蕾给柏杨太太艾玫打公用电话（我家的怕窃听），问她愿不愿意跟马丁见见面。电话中艾玫说她愿意来，可是到时候，她爽约了。为什么爽约，我至今还不清楚。
马丁到台湾，国民党对他又恨又怕，于是派三个人跟踪他。那时跟踪我的是三个人，跟踪魏廷朝、谢聪敏的各两个人。马丁他们上楼后，大家自四楼窗前朝下望，只见下面各路跟踪人马大集合，有趣之至！我指给他们说：“你们看，我家对门变成警察局了！”大家俯视一笑，深感国民党治安良好，真名不虚传。就在这次“行客拜坐客”里，我把一些被“跟监”的照片和泰源监狱名单，交给了马丁。我没交代他怎么处理，他也没说怎么处理。一切都好像心照不宣似的。这名单中有不少我的朋友或今天我们熟知的人。像刘贞松、蔡金河、林书扬、陈水泉、雷正彬、袁锦涛、罗贤义、席长安、柯旗化、施明正、庄宽裕、陈左弧、施明德、孙以苍、胡学古（胡虚一）、吴耀宗、梅济民等等。在他们暗无天日的黑狱生涯里，做梦也没想到：他们一个个的大名，已经经由李敖之手，转给国民党眼中的“国际奸人”了。不但他们没想到，即使国民党也没想到。国民党做梦也没想到：在他们全天候“跟监”李敖的大作业下，李敖居然还能不动声色地来“害”他们，他们真不知道李某人的厉害了！
这份泰源监狱名单是一折写在打横格十行纸上的简单册页，因为是偷运出来的，所以折痕很多，并且有点破旧。它是孟绝子（孟祥柯）交给我的。孟绝子绝口不问我怎么用，我也绝口不说如何处理。正因为有这种心照不宣，所以在大家先后被捕后，我如孟绝子所说：“把‘外泄机密资料’的责任完全揽到你（李敖）自己身上，以减轻我（孟绝子）的罪状。”所以这一案子，幸得在李敖身上“及身而绝”。孟绝子关了一阵，放出去了；交名单给他的蔡懋棠（在斯坦福中心教台语，已故）也很快就放了。
在我1971年3月19日被捕前几天，一天坐在马桶上看《新闻天地》，看到有国民党文化特务卜少夫《新闻天地》的一篇《斥台奸》，其中一段引文提到台独分子“公布了一批在台被羁的政治犯名单”的事，当时我对“政治犯名单”一语甚感兴趣，但做梦也没想到这一名单，原来就是我提供的那一份。等到我被捕后，在被讯问时，国民党拿出一本《台湾独立联盟机关志》——《台湾青年》第一二〇期，赫然看到《台湾泰源监狱“政治犯”名单》的大标题，我才恍然大悟！
在被捕后，我被抄家两次，许多文件和书信都抄走了，侥幸残留的一些片段，聊可看出这段软禁期间的一些斑痕：
1970年1月26日（星期一）
一、“追记”清早魏廷朝来，说彭明敏已偷渡，且得瑞典政治庇护，昨晚家属已收到电报云云，听了令人惊奇不已！
二、午后吴相湘来，说杨西崐昨天已在北大同学会上证实此事。
1月28日（星期三）
二、王淦（王淦为上任调查局台北站站长，时任调查局公共关系室主任）午来电，约下午4点到我家。3点50分他来，坐到4点40。他先说去年调查局办了许多大案，忙得不得了，所以没能来拜访我。我说：“你们业务兴隆。”他说：“只可惜百密一疏。”我们对视而笑。王淦要我帮他一点忙，想想看可有熟悉的外国人跟彭要好的。我说：“好像有一个《纽约时报》记者Fox（包德甫），就是上次你们派了二十多个特务，在飞机场扣他五小时的那位。”他又笑问我跑不跑，我说：“第一，我要跑，1964、1965年就跑了。第二，我要跑，也不会跑在彭明敏的后面。”
1月29日（星期四）
一、（追记）傍晚管区警察来，我在家吃蛋炒饭，顺便约他同吃。他貌似有难言之隐。最后说上面通令捉拿身高多少之独臂人彭明敏一名，他现在奉命来查管区内计程车，有没有搭过这类客人云云。我说你们要拜托《法网恢恢》（The Fugitive）中的医生去找，因为他是找独臂人的专家……
二、管区警察下楼，我看他直入对面小店内，其中又人影幢幢，心知有异。不久小滕来，说：“怎么你的楼下有007？”我把话题扯开，因今晚大家玩牌，免得扫兴也！我一边赢钱，一边注意楼下活动，最后门半开，灯亮通宵。
四、临睡前重读《阿登纳传》，看被极权者迫害故事。
1月30日（星期五）
一、（追记）Strangers at the gate！
二、小华来电，说昨晚范经理等下楼，被人仔细端详，大大确定是007。
三、通知众朋友，“不来不怪，要来自负其责”。
四、魏胖来电“恭喜”。
五、午后经过派出所，找管区警察不在，所中值班人说他有“特别勤务”，我心里更明白了。