映字辈接手乔家事务的这段时间，正是清末至民国社会最为动荡的时期，外有列强欺辱，内有军阀混战。受外部大环境影响，乔家的商业经营日渐艰难。如1926年冯玉祥率西北军自包头撤退，粮饷均系摊派，复字号前后损失现洋近200万，元气大伤，随后一蹶不振。同时，作为昔日盈利核心的票号业务在进入19世纪20年代后，受到现代银行业的广泛竞争，虽勉力维持，却已是穷途末路。
在中堂的利润来源日趋萎缩，而内部人员的奢靡腐化却愈演愈烈。在乔致庸时期，民间至今还流传着亮财主不舍得买一条鲜黄瓜吃，以及饭后漱口，漱口水都要咽下的节俭轶事。当时乔家的成年男子在外厨用餐，开饭以鸣锣为号。锣声响起，男性依次进入饭厅，穿上一种称为罩衣的深蓝色专用大袍，按长幼之序坐好，仆人这才端上饭菜。在失去乔致庸这位拥有绝对权威的大家长之管束后，乔氏子孙饮食花样翻新，这种带有公共大食堂意味的模式自然也就销声匿迹了。同时，各房各代的铺张浪费一发不可收拾。拿祁县城内在中堂独资开办的晋逢德绸缎庄来说，该店专营高档面料、衣物，客户均为乔、渠、何等大家富户，而在中堂的采购量要占其营业额的一半以上。据故老回忆，当时很多子弟来此均是赊账签单，高档衣料随手捡取，毫不吝惜金钱。
与此同时，早年绝对禁绝的吸毒、虐仆、嫖娼、收纳外室等行为也日渐泛滥，竟然出现了如乔映南一般举家吸毒，翁婿婆媳子女几乎无一不吞云吐雾的咄咄怪事。因为吸毒，乔映南独子年仅19岁即亡，其本人也于1939年困顿而死，其间甚至还发生了一个女儿烟毒发作，倒毙路边的惨剧。同样因为吸毒，乔映南之妻曹氏的陪房不堪主人虐待而上吊自尽，成为轰动一时的大新闻。曹氏常年吸毒，脾气古怪，动辄欺辱下人。作为其贴身仆人，自然首当其冲。经年累月，女仆终于不堪忍受，走上了绝路。虽然此事经乔家破财也就消了灾，却成为家族衰败的征兆。
面对家族成员良莠不齐、人心涣散的局面，分家的呼声早在乔致庸辞世之后就已出现。然而，因为分配比例与分配方法多有争执，加之当时在中堂经济状况尚可，也就维持了下来。但20年代后，在中堂业务大受挫折，内部矛盾日益突出，不得已在1930年，经由当时名义上的当家人乔映霞首肯，终于进行了清算分家。在中堂以景字辈六人为基础，按房派和人口略作调整，将所有财产分作六份。分家后，在中堂长门一支由乔映霞的长子，长年居于天津的乔健（即乔铁汉）执掌，管理包括大德通、大德恒在内的商号。此时乔家的商业活动虽然仍在持续，但已然江河日下，再也无法集中力量进行拓展，只能在纷乱的世事中勉力维持。
7年之后的1937年，卢沟桥畔的枪声彻底击碎了乔氏家族的最后一线希望。此时乔氏家族的产业大半沦落敌手，迅速被日伪盘剥殆尽。以包头复字号的经历为例，1937年10月日寇占据包头，1938年即将复盛公、复盛全、复盛西三家复字号内实力最强的商铺收归日伪成立的新亚当和同和实业银行。复字号由此彻底衰败，虽还持有米粮店、菜园等，但也只能勉强糊口。1938年春，日寇正式进驻乔家堡。面对日寇的威逼利诱，乔氏族人无力反抗，只能选择离家远去。随着同年七月后乔氏族人的陆续搬离，辉煌了百余年的豪门大宅终于归于沉寂。