停住，不再去扰乱心情！
一天一整串辛苦，
此刻才赚回小把安静，
夜晚回家，还有远路，
白天，谁有工夫闲看云影？
不都为着真的口渴
四面窗开着，喝茶，
跷起膝盖的是疲乏，
赤着臂膀好同乡邻闲话。
也为了放下扁担同肩背
向命运喘息，倚着墙，
每晚靠这一碗茶的乐趣
幽默估量生的短长……
这是立体的构画，
设色在小生活旁边，
荫凉南瓜棚下茶铺，
热闹照样的又过了一天！
在生活稍为安定的时候，梁思成便想恢复营造学社的活动，对西南地区的古建筑进行考察，继续完成未竟的事业。为了筹措经费，梁思成给中华教育文化基金董事会的周诒春写信，询问能否得到补助。周诒春复信说，只要有梁思成和刘敦桢在，基金会便承认营造学社，可以继续给补助。正好刘敦桢从湖南新宁老家来信表明愿到昆明来，而后又有营造学社的几个骨干也陆续到了昆明，营造学社便又重新组建起来了。
重新组建的中国营造学社只有６人，梁思成、林徽因、刘敦桢、刘致平、莫宗江和陈明达。刘敦桢毕业于日本东京高等工业学校建筑科，回国后曾任苏州工业专门学校教授，１９３１年入中国营造学社担任文献部主任；刘致平１９３２年毕业于中央大学建筑系，毕业后到上海华盖建筑事务所工作，１９３４年来到学社，是梁思成的主要助手；莫宗江和陈明达则是营造学社自己培养的研究人员，也是测绘高手（后来都成为我国著名古建筑学家）。
这时对于昆明的轰炸越来越多，为了躲避战争带来的灾难，他们搬到了更为偏远的地方。在林徽因的监工下，林徽因在昆明１２公里外的小村庄龙头村，建造了一个属于他们自己的家。挑选距离城市这么远的地方，只是因为他们都希望能避开轰炸。
“出乎意料地，这座房子花了比原来告诉我们的高３倍的钱。所以把我们原就不多的积蓄都耗尽了，使思成处在一个可笑的窘境之中（我想这种表达方式大概不对头。）在建房的最后阶段事情变得有些滑稽……我们的房子是最晚建成的，以至最后不得不为争取每一块木板、每一块砖，乃至每根钉子而奋斗。”林徽因写道。
一直到１９４０年春天梁思成从四川回来以前，都是由林徽因独自辛苦撑着这一个简陋的家。因为在１９３９年秋天，梁思成的身体基本恢复的情况下，他便和刘敦桢、莫宗江、陈明达这些营造学社的同僚们一起，对云南、四川、陕西、西康等省的３６个县开始了长达半年的古建筑考察。
“现在我们已经完全破产，比任何时候都惨。米价已涨到１００块钱一袋，我们来的时候才三块四。其他东西的涨幅也差不多。今年我们做的事没有一件轻松。……思成到四川去了已经５个月。我一直病得很厉害，到现在还没有好。”
１９４０年９月费慰梅从美国寄来的支票帮了林徽因的大忙，这正好支付了建筑费用，帮助林徽因脱离了这种“可笑的窘境”。
住进新居，林徽因的心情可以说是喜忧参半：一方面是在战火纷飞的年代，自己一家终于有了一个可蔽风雨的屋顶，有了可供自己安静生活、工作的空间；另一方面，战争的阴影却仍然随时笼罩着一切。
生活是艰难的，冷热自来水都没有。第一样买回的物品是一口陶制的大水缸，有近一米高，用来储存挑进屋里的水。对一个家庭来说，一口水缸是如此重要，以至于一座烧缸的窑开张时，妇女们彼此拥挤甚至打架，惟恐买不到。烧饭是俯身在一只三条腿的火盆上动手，火盆的顶部离厨房的泥地不过四五十厘米，只能支一口锅。燃料用煤灰和泥做成的煤球，火必须扇旺到能做饭的程度。如果要洗澡、洗衣或洗碗，就得从水缸里舀出水来，在这个或另一个炉灶上烧热。任何家庭若是有一个大热水瓶来储存热水，就把它当成是家中的宝贝。除此，还要冒着尘土或泥泞，迢迢跋涉到村里去买那些买得起的食物带回家，而且还得天天去，因为根本没有冷藏这回事，连想都别想。当然没有电话或交通工具。
天黑了点菜籽油灯，但那也很贵，所以最好还是跟村民一样，天一黑就睡觉。孩子的衣服穿破了或穿不下，不知如何是好。布，几乎没有。一句话，战争、通货膨胀和原始的生活方式，已把梁家变成了穷人家。这段时期，林徽因生活得很苦很累，自己有病，梁思成又经常外出，营造学社的日常工作、照顾子女的重担都落在她羸弱的肩上。林徽因虽然是名门闺秀，留洋才女，但她并不娇嫩，长期的野外调查已磨练出了坚强的意志和性格。然而，在没电、没自来水、没交通工具的乡村，又要工作又要拖儿带女，还是使她备受煎熬。生活留给林徽因的记忆是深刻的。建房的艰辛，生活的困难，从月色中野花的清香到堤岸上耸立的柏树，从田间地头的农妇村夫到烧制盆罐的窑工泥匠，都使她更加接近现实社会生活，
林徽因有一首诗，《微光》是这段生活的写照：
街上没有光，没有灯，
店廊上一角挂着有一盏；
他和她把他们一家的运命
含糊地，全数交给这黯淡。
街上没有光，没有灯，
店窗上，斜角，照着有半盏。
合家大小朴实的脑袋，
并排儿，熟睡在土炕上。
外边有雪夜，有泥泞，
砂锅里有不够明日的米粮；
小屋，静守住这微光，
缺乏着生活上需要的各样。
缺的是把干柴，是杯水；麦面……
为这吃的喝的，本说不到信仰——
生活已然，固定的，单靠气力，
在肩臂上边，来支持那生的胆量。
明天，又明天，又明天……
一切都限定了，谁还说有希望——
即使是做梦，在梦里，闪着，
仍旧是这一粒孤勇的光亮？
街角里有盏灯，有点光，
挂在店廊，照在窗槛；
他和她，把他们一家的运命
明白的，全数交给这凄惨。
提到林徽因在这段时期里每天的生活，她自己形容：“我是女人，理所当然变成一个纯净的‘糟糠’典型，一起床就洒扫、擦地、烹调、课子、洗衣、铺床，每日如在走马灯中过去。然后就跟见了鬼似的，在困难的三餐中间根本没有时间感知任何事物，最后我浑身疼痛着呻吟着上床，我奇怪自己干嘛还活着。这就是一切。”
她继续回忆说：“每当我做些家务活时，我总觉得太可惜了，觉得我是在冷落了一些素昧平生但更有意思、更为重要的人们。于是，我赶快干完了手边的活儿，以便去同他们‘谈心’。倘若家务活儿老干不完，并且一桩桩地不断添新的，我就会烦躁起来。所以我一向搞不好家务，因为我的心总一半在旁处，并且一路上在诅咒我干着的活儿——然而我又很喜欢干这种家务，有时还干得格外出色。反之，每当我在认真写着点什么或从事这一类工作，同时意识到我在怠慢了家务，我就一点也不感到不安。老实说，我倒挺快活，觉得我很明智，觉得我是在做着一件更有意义的事。只有当孩子们生了病或减轻体重时，我才难过起来。有时午夜扪心自问，又觉得对他们不公道。”
金岳霖用两句简单的话，概括了他对林徽因这段时期生活的看法：“她仍旧很忙，只是在这种闹哄哄的日子里更忙了。实际上她真是没有什么时间可以浪费，以致她有浪费掉生命的危险。”
天气开始转冷，天空布满愈来愈多的秋天的泛光，景色迷人。空气中飘满野花香——久已忘却的无数最美好的感觉之一。每天早晨和黄昏，太阳从那方位带来静穆而优美的快感，偷偷射进这个充满混乱和灾难的无望的世界里，人们仍然意识到安静和美的那种痛苦的感觉之中。战争，特别是我们自己的这场战争，正在前所未有地阴森森地逼近我们，逼近我们的皮肉、心灵和神经。
到１１月，轰炸越来越厉害。林徽因在给费慰梅夫妇的信中这样说道：
日本鬼子的轰炸或歼击机的扫射都像是一阵暴雨。你只能咬紧牙关挺过去，在头顶还是在远处都一样，有一种让人呕吐的感觉，尤其是当一个人还没有吃过东西，而且今天很久都不会再吃任何东西，就是那种感觉。
可怜的老金，每天早晨在城里有课，常常要在早上５点半从这个村子出发，而还没来得及上课空袭就开始了，然后就得跟着一群人奔向另一个方向的另一座城门、另一座小山，直到下午５点半，再绕许多路走回这个村子，一天没吃、没喝、没工作、没休息，什么都没有！这就是生活。
没有办法的林徽因和梁思成，带着两个孩子和外婆，在１９４０年１１月底搭卡车离开了昆明。车上３１个人，从７０岁的老人到一个刚出生的婴儿都有。每家都领到一份少得可怜的行李津贴，坐在挤满了人的敞篷卡车里，双脚叉开坐在铺盖卷上，“蹲马步”，是当时中国普遍的交通方式。行行复行行，这趟旅程持续了两个星期。林徽因形容：“装载着老的少的，在仲冬天气里越过大山。”走的那天梁思成忽然发烧了，只好一个人留在昆明，他在三个星期后抵达。
１９４０年的冬天，营造学社在四川南溪县李庄镇上坝村安营扎寨。为了便于利用中央研究院史语所的图书资料（此时梁思永在该所供职），营造学社也同史语所入川。林徽因一家和营造学社同人乘一辆卡车，经曲靖、六盘水，过叙永直下泸州，在离宜宾６０华里的南溪县李庄镇上坝村安营扎寨。
上坝村距李庄镇只有两华里，依山傍水，还有大片的竹林。竹林深处有一个院落，内有两间低矮、阴暗的陋室，没有自来水和电灯，煤油灯也要节约使用，夜间读书写字只能靠一两盏菜油灯照明。林徽因一家租用了两间低矮的陋室，墙是竹篾抹了一层泥巴，大大的墙缝能爬进凄冷的月光。顶上的席棚年长日久，是老鼠经常出没的地方，偶尔还有蛇狰狞地探进半个身子。床上的臭虫成群结队，吃水用水要到村边水塘去挑。