灵石地势险要，自古为兵家必争之地。民国耿步蟾《灵石县志》称之为“平阳之屏蔽，诸路之咽喉”。其南北向为相对平坦的丘陵地，北接太原，南衔临汾，分别有冷泉关和阴地关扼守门户，成为两大盆地之间的枢纽。与南北平坦的盆地不同，灵石境内山地丘陵众多。东部太岳山自东向西倾斜；西部吕梁群峰壁立，乃拒敌之天然屏障。汾河自北向南流去，在纵向形成一条狭谷，就是名贯古今的“雀鼠谷”。雀鼠谷乃是晋南通往晋中、西北通往华北的咽喉之地，无怪乎北魏郦道元《水经注》有“上戴山阜，下临绝涧，俗谓之为鲁般桥，盖通古之津隘矣，亦在今之地险也”。清王士祯在《冷泉关道中》有这样一段描写：“南经雀鼠谷，崎岖殊未休。路随千嶂转，峡束一川流。滩急长疑雨，蝉嘶畏及秋。云峰将落日，立马迥含愁。”寥寥数句，使此处的险峻地形一览无遗。
翻阅史书及旧志，可见灵邑大地果然不是太平之所，仅元明之交、明清之交就战火频仍。元顺帝至正十一年（1351年）天下大乱，灵石境内幸而有知县和元军先后相保，因此直到元至正二十八年（1368年）前的一段时间里，并没有受到严重破坏。至正十七年（1357年）有红巾军北伐入晋。当此之时，得益于灵石知县杨文选的坚守，全县才得以保全。民国耿步蟾《灵石县志》特别提到他“廉惠严明，尤善用兵”。所以当时“流寇充斥，不敢窥境邑，民获安”。杨文选本人也由此进入名宦之列。三晋大地当时由察罕帖木儿和扩廓帖木儿（王保保）父子相继镇守，他们将晋中南的冀宁、晋宁两路视为心腹之地而倍加看护，在一定程度上减轻了战乱的影响。明宋濓（lián）《元史》中记载了察罕帖木儿与孛罗帖木儿争夺山西中南部一事。面对元顺帝的调停，察罕帖木儿拒不接受，理由就是“以为用兵数年，惟藉冀、晋以给其军，而致盛强”。然而到元至正二十八年（1368年）时，情况发生了剧变。这一年也是明洪武元年，正值元亡明兴之际。明军北伐逐扩廓帖木儿北遁后，便在全省境内，特别是北中部地区与元的残余势力进行了长期斗争，对人民的生产生活造成了极大的破坏。民国耿步蟾《灵石县志》有明洪武十一年（1378年），知县张先恤民爱士的记录。其中提到“时当草创，修筑城池，整理县治，百废俱兴”。当时距明军北伐已历十年之久，却仍需修城治县，足见战祸之甚。
明正德六年（1511年），杨虎军转战山西境内，攻破灵石县城，县内及周边损失惨重。嘉靖、隆庆年间蒙古土尔扈（hù）特部酋长俺答不断入寇中原，给山西、河北广大地区的人民造成了深重灾难。灵石县境亦是生灵涂炭，满目疮痍。民国耿步蟾《灵石县志》记载了其恐怖屠城的史实：“不意（隆庆）元年（1567年）北虏猖獗，其酋俺达、黄台吉、插台吉……大举入寇。由兴岚、崞县直犯灵石……杀掳无算。破石州，屠其城。其为残毒，百年未有之变也。”至明末崇祯年间民变频生，崇祯四年（1631年）至七年（1634年）的四年间就有王家邱、八大王、张献忠等多批农民军深入灵石境内。而后包括李自成在内的各路农民军、官军纷至沓来，直至明王朝覆灭乃止。清顺治五年（1648年）又有灵石乡民侯和尚起兵，后因内讧而于顺治六年（1649年）失败。上述战事皆属有据可查，没有记载的更不知其数了。这样的经历，直接为王家大院的堡寨式建筑埋下了伏笔。