宗吾兄弟七人，姊妹二人，在兄弟中，他是行六，三哥早死，其余六房均得成立，他的父亲命名为“六谦堂”。除他一人外，兄弟皆务农，惟他的七弟后来开机房，略具商业性质。宗吾是相信遗传和胎教的，他说他之好读书，是决定在先天的，因为生他的那几年，正悬他父亲闭门读书的时候。并且他还引苏氏父子为证，他说：“世称苏老泉二十七岁，才发奋读书。考老泉生于宋真宗祥符二年乙酉，仁宗明道二年乙亥满二十七岁。苏东坡生于丙子年十二月十九日，苏子由生于己卯年二月二十日，他们兄弟二人，正是老泉发奋读书时代生的。历史上二十七岁才发奋读书的，只有老泉一人，生出二位文豪；四十岁才发奋读书的，只有我父亲一人，生出一位教主，岂非奇事。东坡才气纵横，文章豪迈；子由则人甚沉静，好黄老之学，所注老子解，推之古今杰作。大约老泉发奋读书，初时奋发踔厉，后则入理渐深，渐为沉静，故东坡子由二人，禀赋不同。我生于我父亲发奋读书的末年，故我性沉静，喜老子，颇类子由；惜我生于农家，为学不得门径，未免有愧子由了。”他说他的奇怪思想，也是禀自他父亲，实则他家一连几代，性格都有点特殊。我们先追溯到他的曾祖说起，来剖视一下他的血统看看。
宗吾的曾祖，名求枋，性格异常严肃，虽是一个开染店的老板，可是道貌岸然，无人不敬畏他。凡族亲子弟，有衣冠不整者，酒醉者，如果走到他的店门，立即屏气敛容，不敢径过。但他对人并无疾言厉色，仍是具有一副慈祥温和的态度。生平从未作过亏心事，享寿七十岁。临死之前，命家人捧手进巾，自浴其面，帽微不正，手自整理，然后凭几而卒。
宗吾的祖父，名乐山，一生务农，曾耘小菜出售；暇时贩油烛及草鞋，沿街叫卖。身形魁伟，性情朴素。上街担粪，有人和他说话，他必站立对答，粪担在肩上，不知放下。遇狡猾的人，就故意拿他开心，久谈不止，他便左肩换右肩，右肩换左肩，引得满街人捧腹大笑。他于晚饭后便睡，及至家人就寝时，他已睡醒了，以后即不再睡。睡熟时，呼亦不醒，如呼“强盗来了！”即惊然而起。他于晚睡之后，即整理明日应卖小菜，整理完了，便手持一杆，往守菜圃。菜圃临近大路，贼人偷东西从此经过的，往往被他夺下，交还失主，所以贼人非常怕他，常常绕道而行。家中平日是舍不得吃肉的，到了年终，他才割肉十斤，准备腌起。自己持刀修削边角，削下来的约有半斤，便命他的妻子拔萝卜作汤，并切切嘱他：“大的留着出售，小的留着长成，须择一窝双生和破裂不能卖的，才拔来。”他的妻子找遍了圃中，不得一棵，他才忍痛允许拔来使用了。汤热，他亲自持勺，盛入碗内，又倒入锅中，再盛再倒，再倒再盛。他的妻子问道：“你这是干什么呢?”他说：“我想分给家人和工人，苦于不能公平和普遍啊！”这事过于不久，便一病而死。他的妻子割肉一方，献于灵前，一见即痛哭，自语“泪比肉多”！又因痛惜不已，即取他生前所用扁担珍藏起来，并且说：“后世子孙如昌达，常用红绫包裹，悬挂在正堂梁上，永留纪念！”据说这条扁担经他的子孙保留到民国九年，竟被贼人毁了。他的妻子曾氏，是高山寨富家的女儿，出嫁以后，终年陪着丈夫操作，挑水担粪，从无劳怨。有时归宁，看见猫犬剩余的食物，即暗暗想到，我家怎能得到这样的剩饭的食物？宗吾幼时，听到他的父母屡次述及此事，告诫他们兄弟说：“先人这时穷困，这般勤苦，一食之难，竟到如此地步，做儿孙的千万不可忘记啊！”