说到灵石，首先要讲的就是介子推和清明节的典故。在山西历史上，声名最为显赫的君主当推被奉为春秋五霸之一的晋文公重耳。重耳的一生并非一帆风顺，他虽为晋献公之子，但献公晚年昏庸无道，听信谗言对他动了杀心。重耳闻讯后逃出晋国，从此开始了历时19年的流亡生涯。在流亡途中，重耳饱尝艰辛，受尽风餐露宿、食不果腹之苦。重耳最终能够重返晋国为君，离不开随行忠臣的帮助，而介子推便是其中之一。汉韩婴《韩诗外传》记载：“重耳无粮，馁（něi，饥饿）不能行，子推割股肉以食重耳，然后能行。”文公登基后论功行赏，忙乱之间竟忘记了介子推。事后，介子推并没有邀功请赏，而是携母入绵山隐居，从此杳无音信。据汉司马迁《史记》记载：文公后来将整个绵山区域封给介子推，号曰介山，“以记吾过，且旌（jīng，表扬）善人”。介山一带后来就设置了“介休县”（到隋代改名平昌县），恰恰是灵石县的前身。
以下的记载则出现了分歧。汉刘向《新序》说“文公待之不肯出，求之不能得”，于是以火烧绵山的办法逼介子推下山。没有想到的是，介子推竟然至死不出。文公追悔莫及，遂下令将这一天定为禁火日，我国源远流长的寒食节就由此而来。宋王观国《学林》说：“界山……推焚死之山，故太原俗有寒食。”每年寒食节，家家户户都不举火，只吃冷食。第二天则是清明，人们上坟烧纸，修墓添土，以表示对亡者的怀念。后来寒食节慢慢和清明节融合起来，而介子推的死难实则成了清明节的源头。与介子推火中殉难的惨烈故事相比，另一种说法则反映了百姓不忍名贤遭劫的良好愿望。清章廷珪（guī）《平阳府志》说：“文公遣数千人以玉帛礼之不出，后三十年见东海边卖扇。”诏封其为洁惠侯。这一系列举措无疑为介休赢得了声望，使绵麓之地名满天下。
从明初到清末，晋商在商界活跃了五个多世纪，积累了大量财富。《世宗宪皇帝朱批御旨》记录了清雍正二年（1724年），山西学政刘於义的奏本：“山右积习，重利之念甚于重名。子弟俊秀者多入贸易一途，其次宁为胥吏。至中材以下，方使之读书应试，以故士风卑靡。”雍正批曰：“习俗殊属可笑！”清末晋人经商之风益盛，于是引来了太原人刘大鹏的感叹：“近来吾乡风气大坏，视读书甚轻，视为商甚重。才华秀美之子弟率皆出门为商，而读书者寥寥无几。甚且有既游庠序（xiángxù，学校），竟弃儒而就商者。亦谓读书士多受饥寒，曷（hé，怎么）若为商之多得银钱，俾（bǐ，使）家道之丰裕也。当此之时，为商者十八九，读书者十一二。”晋中各县则多以经商自豪。民国胡万凝《太谷县志·新修太谷县志序》有“自有明迄于清之中叶，商贾之迹几遍行省，东北至燕奉蒙俄，西达秦陇，南抵吴越川楚，俨然操全省金融之牛耳。”然而，灵石的经商之风较之却逊色了许多。其原因很多，一则灵石地处汾河谷地，是山西沿汾农耕区的重要组成部分，具备了较好的农业生产条件。二则，灵石历代人口密度不高，不过是太原盆地内太谷、祁县、平遥等地的二分之一到五分之一，没有土狭人满的问题。此外，除汾河谷地之外，县内交通困难，于经商不利。加之历代对介子推的宣扬已使儒家教化深入人心，不免以经商为耻。这就使得灵邑百姓重义轻利，崇尚耕读。
灵石县民风淳朴，是历代县志的重点话题。清觉罗石麟《山西通志》就有“灵石僻在万山中，财货不通，其人勤苦，多致盖藏，弟子员皆守章句，不敢背师说”的记述。拿寒食节来说，据宋周密《癸辛杂识》记载，当时老弱病残吃冷食常常得病，于是到介庙占卜祈求小火。如果得到吉兆，就烧无烟的木炭取火，如果“不吉，则死不敢用火”。在这样的环境下，王家大院的建造者自然忠义辈出。在清王中极《王氏族谱》中，就记载了十七世王如玉（字璞园）于乾隆三十八年（1773年）在金川战役中阵亡，并获赠太仆寺卿（从三品）的历史。王如玉青史流芳，在清阿桂《平定两金川方略》中留名，清英廉《日下旧闻考》还指明他受祀于北京三忠祠《平阳府志》有十三世王兴旺为乡里捐款交税、十四世王斗星捐金重修孔庙的事迹。民国耿步蟾《灵石县志》则更为详细，说当时的县官还为王兴旺挂匾“尚义”，夸王斗星“义举可嘉”。至于他们的妻子，据王金钉《静升史海钩沉》统计，静升原有牌坊22座，其中17座竟都是表彰贞节烈女的节孝坊。这样的族人建造的宅院，自然体现出对礼制的遵从。