我五岁开始上幼儿园，最初是在中南海边上的艺文学校的幼儿园，对这一段的事，我几乎什么也不记得了，只记得入园要换鞋。后来又转到孔德学校的幼儿园，因为它离我们家比较近。对在孔德小学的生活，我记得比较多，除了还要换鞋之外，现在还能唱出一两首当时学的歌。由于我比较内向，也不太合群，因此好朋友不多。我常和一姓苗的小女孩玩，听说她是苗可秀的女儿。我们俩常在滑梯的沙土坑里堆沙山，她说她是皇后，我是皇帝，当然当时我也不知道皇帝是什么样的人。既然她这样说，我也同意。在孔德我一直读到小学五年级，这时已是抗日战争爆发后的第二年。在孔德小学我的功课一直是中等，所以表现得很平常。在五年级时，我们增加了日文课，由日本人教，我们都很讨厌日文课，好像没有人好好学，别的功课我们都没有作过弊，但考日文，很多同学都把书坐在屁股底下，不时地拿出来抄，大作其弊。因此，我的日文虽然学了一年，但几乎什么也没有学到。由于不愿学日文，1939年我转到灯市口的育英小学六年级，因为它是教会学校，可以不学日文，而学英文。从小学二年级起，我就爱看《三侠剑》、《七侠五义》之类的武侠小说。先是，我家的一位车夫念给我听，我越听越上瘾，后来我自己看，当然半懂半不懂，可是那些剑侠的打斗很吸引我。
1939年底，我母亲带着我和妹妹、弟弟，还有邓以蛰伯父的孩子邓仲先、邓稼先一起由天津乘船到上海英租界，然后去香港，又由香港转越南的海防上岸，在河内住了几天，乘车由滇越路到云南去。因为我父亲那时在西南联大教书。这就是说，我并没有读完小学，因此也就没有拿到小学毕业证书。
1940年，我们全家在云南团聚了，但是我的哥哥汤一雄于1939年因在云南作盲肠切割手术，麻药中毒而去世。由于当时日本飞机常轰炸昆明，我们一家先住在离昆明不远的宜良县。这时住在宜良县的西南联大教授有好几位，有贺麟、郑昕、姚从吾、唐钺等。在此以前钱穆伯父也住过，不过这时他已离开西南联大到成都去了。宜良县是个风景秀丽、民风淳朴、有山有水、离著名的石林不远的小县。离县城五六里有一温泉，我父母常常带我和弟弟、妹妹一起到那儿去洗澡。这时我进了宜良县立中学初中一年级。当时学校的教员有一部分是西南联大在校生，他们来往于昆明与宜良之间，时常缺课，而我也不是一个用功的孩子，功课也就平平常常。
1941年夏，我们家搬到昆明，先是住在离昆明城约十里的小村——麦地村一座尼姑庵里。这时闻一多伯父一家住在附近的司家营，金岳霖、冯友兰住在附近的龙头村。我进了西南联大附中读书，它是当时昆明最好的中学。由于宜良中学的水平不行，我没有考取初中二年级，只得降到初中一年级重读。联大附中要住校，因此每星期六我就和闻一多的儿子闻立鹤、闻立雕，还有一位同住麦地村的云南同学殷承祐一起回家。在假期我们四人常在一起玩，记得有一年暑假，我们相约到山上去“探险”，爬上了很高的山，沿路还偷地里的白薯、老玉米烧来吃，最后我们还放火烧山，一直玩到天黑，当然家里的大人都很着急，回家后我们都受到了不同程度的责难。我在联大附中，功课也很平常，但体育不错，还是排球校队成员，这时冯钟芸老师教我们国文，其中有些诗词，我最喜欢的是李后主的词。这期间我开始看小说，先是看巴金的《家》、《春》、《秋》等，也看《三国演义》、《水浒传》、《西游记》，好像还看了屠格涅夫的《罗亭》和《父与子》。到初二下学期，比我高一年级的余绳荪（余冠英的儿子）弄到了一本斯诺的《西行漫记》。于是我和余绳荪还有游宝谟（游国恩之子）、曾宪洛（曾昭抡之侄）、胡旭东在校外租了一间房子一起读。这本书深深地吸引着我们，同时我们又都很讨厌童子军教官吴能定，我们就一起研究，决定干脆到延安去看看。对我来说，我当时完全不是出于对政治有什么认识，而是出于一种孩子的好奇心。于是在1943年春，我们几个人各自从家里偷了一些钱或黄金做路费，先乘火车到曲靖，由曲靖搭“黄鱼”到贵阳。到贵阳后，我们都很兴奋，就一起住在一家小旅馆中，登记时都用我们的真名。住下后，我们就到外面小馆子吃饭，可是一回来就有几个黑衣大汉在等着我们，要我们跟他们走一趟，并要把所有东西都带上。我们都感到大事不妙，但也无法，只好跟着去，一带就把我们带到贵阳警备司令部，并且住在侦缉队里面的一间小房子里。幸好他们没有先检查我们的东西，因为我们还带着那本《西行漫记》呢！如果被查出就大为麻烦了。恰好我们住的小房是木地板的，在两块木板之间有小缝，我们就把书一张一张地撕下，塞入地板缝中。第二天，警备司令部的一位参谋长之类的人找我们每个人谈话，首先当然是审问我们的头头余绳荪，接着一个一个问话。问我要到哪去，我说要去重庆读书，因为我有堂姊在重庆南开中学教书；又问我喜欢看什么书，我当然不会说我爱看《西行漫记》了，我说我喜欢李后主的词和巴金的小说等等。
又过了一两天，贵州省府秘书长郑道儒找我们一起“训话”，说什么“要好好念书”、“不要听信什么人的坏宣传”、“现在是抗日时期，要拥护党国和领袖”之类。这是我第一次听到这种官僚的“训话”。大约在警备司令部关了一星期，联大附中的教务主任魏泽馨来贵阳，把我们接回昆明了。当然，联大附中我们不好再回去了，大都转到云大附中去了，而我在家待了一段时间就真的到重庆南开中学去念书了。