（仙人洞定居、御回、经商、瘟疫、艰难岁月）
辗转多日，一家人最终落脚在仙人洞。仙人洞是离家半里路的大山中的一个山洞，洞口小，里面大，洞中有空隙可以望天。山洞自然形成洞门，中间高大的可为大门，旁边矮小的可为小门。洞内钟乳石形成各种生动物象，复道交错纵横，自然形成众多门户，可以住家，可以御敌。万般无奈之下，耀庭将烧残的木板利用起来做栅栏，规拦出房、门，将此作为暂时定居的家。动乱中有了暂居之地，一家人都很高兴。数日内远近来躲避回乱的竟有数十家，男女三四百人。后来者也如法炮制，用柴扉木板隔断，列屋而居。人众胆壮，遂议条规，誓生死。陆续增至百数十家，规模渐大俨然成为聚居的洞寨。于是逃难者们一起商议守御抗敌的办法并推选领导，大家一致推选年轻的后生李耀庭与张老五。张老五是李家的雇工，贵州威宁人，颇有胆识，对李家勤恳忠心。
年三十，回酋率数百人来探洞，洞门修筑粗略尚未完固，回人直入外洞向内窥望。守卫者暗中发枪击伤二回，回人遇阻哄然退出。当时洞内军火缺少，没有火枪子弹，用碎铧铁当子弹，打了就没有了，故还不能多次击发。没有依仗，洞内人自然也不敢出洞追击。当天晚上，稍具酒肉为度除夕守岁。家人围坐，回忆往年的热闹，四邻灯火人声相照应，现在则伏居山洞，想到家里的屋宅被回人烧为灰烬，此后性命存亡尚不可知，不禁令人感伤。耀庭面对祖父母、父母，怕老人们伤心，强颜欢笑，温言抚慰，并向他们陈说年轻的洞人们会轮流值守，白天登山哨望，夜晚则紧守洞门，不惧怕回人。
咸丰七年（1857年）（李耀庭时年21岁）正月二日三日，回众数次前来诱敌，洞人皆坚守不出。至十二三日又数次前来，洞人仍然坚守如故。耀庭利用空隙时间与众人修固洞门，精制军械，完善守备。回人数次无功而返于心不甘，于是想出熏洞的毒计。二月某日，回帅率大队二千余人，牛车数十辆，装柴积薪，又拆邻近未毁房屋材料，齐集山上，杂以叶子烟和海椒，点燃火从空中投入外洞。折腾了一天。第二天，由回酋督队，遍伐四山杂木松树，奋掷火中，毒烟如龙，火声刺刺，千众叫呼，震荡山谷。第三天傍晚，火势愈烈，全天赤焰如血，岩石焦落，溃地崩天。回人益发纵薪助火，以为数百汉民再没有活着的人了。不久，洞内竟然有鸡叫声，悠然传出洞外，回众惊讶气沮。回人莫解其故，是不是有什么神异，于是退兵。原来洞中多窍，即多有往上的孔洞，烟至而风扇之，其引火的功能如同烟囱一样。所以烧了三天竟安然无恙。经三昼夜焚攻，洞人悉惫，然自是人心益固。回亦知洞不易破，不复来。躲过劫难，耀庭事后想，假使回人挟数千之众，尽旬月之力，以土石从空下填，则数百人合葬其中矣。所以他认为据守仙人洞并非万全之策。
动乱中，另一摆在李耀庭面前的是生计问题，一家老小要吃饭这是大事，刻不容缓。怎么解决，经过筹划，地不能种，耀庭认为只有做小买卖。十六日（时间推算应是咸丰七年3——4月间），他携荞面二升作为盘川，往江边场，遍向亲友借得二千钱，又遇到伍舅和熊老十，亦各借五百，凑足三千制钱一起带往以车汛。在集市上，买得叶子烟二梱，再回江边，由喇叭塘、古寨、新酒房，至永善县城沿途卖。之后，再将卖烟所得的钱，下黄坪买盐。在黄坪场上，当地的蛮人目光炯炯地注视着耀庭这个外来人。耀庭知道有风险，于是不敢轻易购买货物，就宿于四方石。次日，改往黄葛树，买盐百数十斤，雇人分担，经郭家卡、陈家冲、白发溪，辗转三百余里，在江底卖。一趟下来，获利四至五倍。重复同样的举动，仍担钱回黄葛树，购盐到江底卖。每往返一次须二十多天，往返如是三个月，赢钱二百余贯。有利可图，耀庭十分高兴，遂往来贩运。然而，正如李耀庭回忆录中所述，“然年方少，又值兵乱，忘身冒险，出入戈鋋生死之中，艰恐益无限也。”记得五月中，耀庭往大井坝买布，辗转至河口，都没有买到。仍到黄葛树，买布与盐到江底卖。此时贩运的利潤，但凡途中安全无虞都会有数倍之多。从黄葛树出来的同行者二十余人，十之八九是来此经商的四川人。一天，耀庭行动迟缓走在后，众四川客商走得快在前三十里，住宿古寨。第二天耀庭到古寨，路上忽见有川客踉跄逃回，惊恐地说，在龙树场遇到回人，财物被劫，一起的客商多数被杀了。耀庭听此心下惨然，因为他所雇挑夫，足痛不能赶路，幸宿新酒房，晚了一天。而川客按正常行程前行。竟成为刀下之鬼。前面有凶险，耀庭赶紧将盐布藏在山僻沟中，蹲伏在对山，看见回人在双眼井一带，劫杀焚烧离开后，才急忙取盐布涉江。水淹至胸，不敢回避，奋力通过深湍激流。登岸后，绕道回宿古寨城。第三日再由双眼井喇叭塘宿于月亮田。第四日始回达江边，沿途到处是死尸，血肉狼藉。一路上，又数次遇到打财喜的人。所谓打财喜，又名打闹，系游民或三数十人，专门乘盗匪抢劫杀人之后，步其后尘，入村抢掠财物，以及狙阻道旁，估夺过往行人客商的财货。遇到此辈，耀庭或先盛气以临，或为婉辞以对，随机应付得免，然而也是九死一生。
闰五月二十一日，耀庭在江边场卖了一些盐布，余货并钱，寄存蓝筐的乾沟一个叫夏满老的熟人处。回想历经百险，自谓有老天爷眷顾。二十三日，肩扛盐一块回洞，则听说祖母已于前一天患疫疾去世了。一众兄弟中，耀庭最为祖父母所爱怜，结婚时，祖母特为之制羽毛大褂，说：长孙，是我最爱的，今日初婚，宜优待，他不为例。现在竟不得再见了。所幸，逃难时藏在树林中的棺材尚在，遂得以入殓。葬在洞侧。仙人洞阴湿，时值夏季，洞内人多，污秽暑热熏蒸，全家均感染了瘟疫。洞人患病者十之七八，远近乡村也瘟疫盛行。六月初，耀庭妻子听到她的父母患瘟疫病故，悲痛欲绝，出洞外望娘家方向号哭，边哭边用手抓坐旁泥土。耀庭慰解不止，她责怪耀庭为什么不早告诉这个消息。然而岳父母的死耗，耀庭实在不知。哭到后来，已气息微弱。婆母再三招呼劝慰，回洞犹自呜呜啼哭，当夜遂大病。初六日，幺姑母死。姑母嫁黄姓人家。姑丈因事往江底，数日未归，大家担心。到处打听没有他的踪迹，后有人报告说已被土匪杀害了，赤身露卧鱼古寨，距仙人洞数里之遥。耀庭赶往前去看视，只见姑丈腰以下已为豺狗啃食。第二天早上与张老五携带畚箕锄头再去，豺狗又啃食大半。含泪将其残尸掩埋在道旁，这件事一直还强忍住没有告诉祖父母和姑母。现在，姑母竟罹患瘟疫离开人世。又葬姑母在洞侧葫芦口。初八日，耀庭妻发病出汗，耀庭坐其旁，给她盖覆被子，耀庭妻说她心里很烦躁。正卧病在床的耀庭母亲招呼耀庭不要打扰妻子，宜待汗出。一会儿再去看时，妻子已经断气了。第二天傍姑母葬在一起。耀庭妻子容貌端庄举止娴静，入门后勤俭孝顺，深得祖父母父母欢心。还未满一年，竟这样离开。她的死，祖母先去来不及见到，祖父病重又不敢让他知晓，耀庭母正病在床不能起来看视，耀庭强抑悲痛不敢声言。没有棺材入殓草草掩埋，耀庭感叹命运的穷途潦倒没有比这更甚的了。初十日，祖父逝世，耀庭母亲与二弟三弟病益重。第二天葬祖父于洞侧，父抱病送葬，刚一跪地，即昏迷不省人事。十六日，二弟又夭折，第二天埋葬二弟后，父回洞病就加重。二十六日耀庭父亲与世长辞，一家人哀痛至极。父亲初病，本来尚轻，他既痛惜家被焚毁，继而一月之内父母及诸多亲人相继沦亡，忧愤致深。他临终时，已经罹病的耀庭与母亲勉强起身扶持他，父亲惟泪下数滴，微流鼻洟，耀庭母亲以袖揩拭，已不能言语，竟无一语遗属家事，想必心痛至极，已无从言说了。次日葬仙人洞侧。耀庭与母亲皆病情加剧，皆不能起床送葬。一个月内先后六丧，惟有祖母得具棺殓，其余皆用简单材料草草掩埋，致使年久不能改葬，这是耀庭终身难忘的悲痛。当时洞中人人罹疫，朝生而夕殂，男陨而妇继，棺櫘相属。幸而存者，饥饿呻吟待命，与耀庭家正復相同。所幸回人不再来，免去被一一屠戮之惨。
七月二十四日，耀庭尚在病中，忽闻回酋率大队焚掠蓝筐各处，所存在夏满老处的盐布与钱悉被劫去。想想自己数月出生入死，铢积寸累的岂止是钱财，乃是一门孤弱的性命，耀庭悲愤得觅死的心情都有。而此时有回人在鲁甸岩洞建立营垒，同时并起为领头帅主的，厅属桃园龙头山有李二金，下七寺有阮二阮三，马鹿沟有罗某，恩安北门外有锁三，威宁稻田坝则有马辅，他们都烧杀掳抢，一定要与汉人为仇。数支中，惟岩洞一支最强。其间游民夷猓，也乘此时机结党劫夺。永善周边的黑蛮（土著），更不时出现，他们更加凶悍，连回人也一并遭受其祸殃。
自八九月起，恩安土匪猖獗，抢夺财物牛羊，见到就发财，也不分回汉。
冬间又听说黑蛮渡江，焚劫黄葛树黄坪等处殆尽。由是贩运不通，生意买卖不能做。天寒，母子窟居，饥渴昏朝。间搜苞谷磨面，杂野蔬为粥。而六弟七弟专门索要浓汁成团状的，并因饥饿啼哭不已。每遇此，母亲掩泣扬勺向他们展示说，粥已经没有了。
咸丰八年（1858年），回汉仍相仇杀，作乱者掳掠货财子女，土匪亦群起肆扰。东川杨五百斤祖大章等，与夷猓（土著）构衅，又各号召二三千人，所至焚杀，地方陷入一片混乱之中。耀庭母亲惟有率耀庭与三弟四弟耕地栽种，动乱之时，仅此岂能自养，日过一日苟延性命而已。为此，耀庭感悟，母亲的辛劳，古今为最。
咸丰九年（1859年）春，恩安文武官吏发生变化，当政者与负郭割据的回人媾和。于是仙人洞一带，汉人亦与回人划分界域，约定彼此不相侵扰。然而不剿而和，原苟且之计。且所谓和，仅避免大规模围城攻寨、显然的叛乱，而弱肉强食的情况照常，所以回汉相互间还是相互猜疑、防范。所幸道路因此稍微通畅，耀庭与回人交往熟识。夏间，赊回人马兴周盐百余斤，往贩东川之中寨迤北沟各乡场。卖后偿价，或先偿少半，归乃偿足。如此数遭往返，稍稍可以维持生计，但获利甚少。若道路不太平，则又陷入窘境。家余布衣数件，母命耀庭拿去卖给邻人，遍问无买之人。后跟回人换了三升荞麦。
从咸丰六年(1856年)到咸丰九年(1859年)，经历乱世四年。乱世最极端时，只见旌旗飞扬，四山鼓角之声，响彻岩谷。对垒的寨堡相望，积尸满野。田中荆棘，交长怒生，蓬蒿没人。入夜则遍山都是星星点点点由腐尸生发出的燐火，豺狼呜呜地嚎叫似因饥饿而发出觅食的呼唤。因为农业连年歉收，附近十数里的亁洞，有土匪多人，竟掠行人烹食。耀庭率众搭梯入洞，见洞壁悬挂死人肢体有如开屠行，锅里正煮着人肉，泡沫犹热。愤怒的民众将匪十数人抓住押出山洞，列数其罪，在土坪将其尽皆杀死。
咸丰十年（1860年），动乱稍稍止息，李耀庭或者在家农耕，或者外出做小生意，为家庭的生计而操劳。他经常背着五六十斤盐，日行百里。有时为了赶生意，日夜兼程跑一个往返，路途有二三百里之遥。数十年后他还记得，有一天阴雨弥漫，天色已晚，沿途又无旅店，身负盐数十斤。走在大山中，又饿又怕，踉跄前行。忽然看见荒草丛中有萤弱的火光，走拢一看，是从一间茅屋中发出。茅屋中有一位老婆婆，她可怜这个背盐赶路的后生，容他住宿，给他提供自己粗粝的饮食。李耀庭当时得此，感动不已，认是为老天爷让他有此奇遇。李耀庭后来专程去找这个对自己有大恩的贤惠婆婆，她已不知去向。
咸丰十一年（1861年）局势较平静，李耀庭仍在东川会泽各乡场贩卖盐布。
同治元年（1862年），蛮匪复渡江抢掠永善黄坪黄葛树等地。