刘邵用五行说明人的五个结构，即骨、气、肌、筋、血等五体，再由五体的性质象征人的五质，即弘毅、文理、贞固、勇敢、通徽等五质，又以之象征人的五常，即仁、礼、信、义、智等五常，通过彼此象征来认识人的性格品质。
因为木对应人的骨，所以积之为木骨；因为火对应人的气，所以积之为火气；因为土对应于人的肌，所以积之为土肌；因为金对应为人的筋，所以积之为金筋；因为水对应于人的血，所以积之为水血。
随后，刘邵又用骨、气、肌、筋、血等来说明性格跟五质、五常之间的关系。如有柔性，就具有弘毅的性格，而弘毅的性格就是仁之质；如清纯，就具有文理的性格，而文理的性格就是礼之本；肌体如结实、雄壮，就具有贞固的性格，而牢固的性格即是信之基；筋若有劲，就具有勇敢的性格，而勇敢的性格就是卫之丧；血色若平错，就具有通徽的性格，而通徽的性格即是智之原。
五常指的是仁、义、礼、智、信。《白虎通德论》云：“五常者何，谓仁义礼智信也。仁者不忍也，藏生爱人也；义者宜也，断诀得中也；礼者履也，履道成文也；智者知也，独见前闻不惑于事；见微者也，信者诚也，专一不移也。故人生而应八卦之体，得五气以为常，仁义礼智信也”。弘毅、文理、牢固、勇敢、通徽等五质具有恒常之性。
紧接前段五行，可以象征五体、五质、五常，也可以成为表现道德的条件，因此就用术来象征温和正直而果断的道德，刚毅宏大的品德，理智而尊敬的素质。用土来象征忠厚而严肃，柔弱却能自立的品德，简明通顺地指出过错的美德。
下面解释一下五德。
1.金德：刚强而结实，宏大而果断。刚强而不结实，则容易断裂；宏大而不果断，则容易有缺失。
2.木德：温和刚正谦逊果断。温和而不正直就容易变成懦弱的人；谦进而不果断，则容易遭挫折。
3.水德：厚实而严谨，知理而尊敬。厚实而不严谨就容易遭谬论；知理而不尊敬，则易造成混乱。
4.土德：忠厚而严肃，柔弱但能自立。忠厚而不严肃的话，则易松懈；柔弱而不能自立则容易散漫。
5.火德：简明而顺畅，简明而不顺畅就不会有进展，若不能明确指出错误，又不能针砭的话，就会模糊不清。
由五行——五形——五体——五德——五常，从中我们可以体会出人的性情上可以有比较大的改变，而这种变化表现在人情世故上有能干和不能干之分。这些可用金水土木火来表现，这是识人的基本常识。
曾国藩指出，人的外貌都有其独特的类型。古人根据金、木、水、火、土五行的性质和象征意义，用类比取象的方法，把人的形体相貌用五种来概括，即是金形、木形、水形、火形、土形，这与美术上对人头部的分类有共通之处。美术上把面部分为八种：目字形、国字形、田字形、甲字形、申字形、风字形、由字形等。全在于其认识问题的出发点不同，但本性一样。
曾国藩认为，宇宙万物都由金木水火土五种元素构成，人既然是宇宙中的精华，万物中的灵长，其构成元素也是金木水火土，当然也该合自然之性，因而说：“禀五行以生，顺天地之和，食天地之禄，未尝不由于五行之所取，辨五行之形，须尽识五行之性”。
这个思想成为古代人才学的理论依据，因此在《五行象说》中讲道：
“夫人受精于水，故禀气于火而为人，精合而神生，神生而后形全，是知全于外者，有金、木、水、火、土之相，有飞禽走兽之相。”
这段表明，中国古人不知凭什么知道生物最初来源于水中，“人受精于水”这个思想可不简单。达尔文等西方生物学家论证的生命来自水中，比中国古人对此的论断迟了好几百年。
照达尔文的生物进化论来看，人既然源自于动物，则脱不得自然生物的属性，因此用飞禽走兽比拟人形，也无不可。三国时的名医华佗仿五禽而成的“五禽戏”，是锻炼身体的好方法。但古代相术把飞禽走兽与人形的相关性说得神乎其神，奥妙无穷。
根据五行的分类，各种形态类型的分述如下。
1.金形人
形貌：面额和手足方正轻小，如一块方金，骨坚肉实。
肤色：白色。
声音：圆润亢亮。
性格：刚毅果决，睿智机敏。
有诗证曰：部位要中正，三停又带才，金形人入格，自是有名扬。
2.木形人
形貌：瘦直挺拔，如笔直大树，仪态轩昂，面部上阔下尖，眉目清秀，腰腹圆满。
肤色：青色（白中透青）。
声音：高畅而洪亮。
性格：温和，宽仁。
有诗证曰：棱棱形瘦骨，凛凛更修长，秀气生眉眼，须知晚景光。
3.水形人
形貌：圆满肥胖，肉多骨少，腰圆背厚，眉粗眼大。
肤色：略黑。
声音：缓急不定。
性格：情感丰富，富有想象力，聪明机智，多变。
有诗证曰：眉粗并眼大，城廓要圆团；此相名真水，平生福自然。
4.火形人
形貌：头额窄下巴宽，鼻子高大而露孔，毛发较少。
肤色：赤色。
声音：躁烈。
性格：情感激烈，性格暴躁，直来直去。
有诗证曰：俗识火形貌，下阔上头尖，举止全无定，颐边更少鬓。
5.土形人
形貌：敦厚壮实，背隆腰圆，肉轻骨重，五官阔大圆肥。
肤色：黄色。
声音：浑厚悠长。
性格：仪态安详，举止缓慢而稳重，冷静沉着，但城府很深，难于测度；待人宽厚，讲信用。
有诗证曰：端厚仍深重，安详若泰山，心谋测猜度，信义重人间。
这五种类型的人，是五行的推衍，天下所有人的形貌不外乎来自于此。
由此可见，人的容貌举止是人的美丑善恶中非常明显地表现出来的外在的东西，但是其中也有天命人事的因素隐藏其中。《孔子家语》中说：“澹台子羽没有君子的容貌，但是他的行为举止却与其容貌不相般配。”《论语》中说：“子张的为人高不可攀了，但是难以带领人一同进入仁德。”澹台灭明及颛孙师二人的威仪举止肯定有过人之处，但是孔子有“以貌取人，失之子羽”的感叹，曾子有“子张难与共入仁德”的感慨。这就是天命有相但人事上却不努力的原因；如果不是孔子，别人怎能知道这层道理。后代靠相貌观人察事的人很多，而且特别注重容貌。年轻的纨绔子弟大都是打扮美丽妖艳，身穿奇装异服，而面貌态度，行为举止，像柔弱女子一般。这样的人，人见人爱，但是处朋友则有始无终不欢而散；一起共事则少有成功。此外还有所谓下体丰满必有后代的说法观人察士的事例：曾国藩常审视属员随从是否面有福相，并以此决定任职的大小，其中虽偶然有巧合的事例，终究不可引以为训。难道不知道楚国的叶公子高身材短小瘦弱，走起路来像要被风吹去似的？但就是叶公子高平定了白公胜的叛乱，以此名闻后世，这件事《春秋左氏传》有记载。当初，沈攸之前往领军将军刘遵考处，请求招收自己为白丁队主，因为沈攸之形象丑陋没有答应，但沈攸之最终成为征西大将军、开府仪同三司，长期在外领兵打仗，这件事《宋书》中有记载。大概仅用相法谈论人的容貌举止，很难做到事事都有验证，也不是本书所涉及的内容。
【人才智鉴】
晏婴出使楚国
晏婴头脑机敏，能言善辩。内辅国政，屡谏齐王。对外他既富有灵活性，又坚持原则性，出使不受辱，扞卫了齐国的国格和国威。晏婴身材不高，其貌不扬，是金形人。我们看看他是怎样出使楚国的。
晏子出使楚国。楚国人想侮辱他，因为他身材矮小，楚国人就在城门旁边特意开了一个小门，请晏子从小门中进去。晏子说：“只有出使狗国的人，才从狗洞中进去。今天我出使的是楚国，应该不是从此门中入城吧。”楚国人只好改道请晏子从大门中进去。
晏子拜见楚王。楚王说：“齐国恐怕是没有人了吧？”晏子回答说：“齐国首都临淄有七千多户人家，人挨着人，肩并着肩，展开衣袖可以遮天蔽日，挥洒汗水就像天下雨一样，怎么能说齐国没有人呢？”楚王说：“既然这样，为什么派你这样一个人来作使臣呢？”晏子回答说：“齐国派遣使臣，各有各的出使对象，贤明的人就派遣他出访贤明的国君，无能的人就派他出访无能的国君，我是最无能的人，所以就只好出使楚国了。”楚王立即不好意思了。
待谈完事，正好有人来献合欢橘（楚国的特产），楚王就顺手拿了一个赐给晏子吃。齐国地处北方，晏子没吃过橘子，所以不知道剥皮就去咬。
楚王拍手大笑：“你们齐国人都没吃过橘子啊，怎么不剥皮就吃！”
晏子恍然大悟，立刻就说：“受君所赐，瓜桃不削皮，橘柑不剥皮，以示敬意。君未叫我剥皮，我怎么敢不全吃呢？”
楚王不觉心中起敬，并赐酒宴。
正当饮酒正欢的时候，有几个武士推着一个囚犯从殿下经过。于是楚王就问囚犯哪里人，武士回答说是齐国人。楚王又问犯了什么罪，武士说是偷盗罪。
楚王故意回头问晏子说：“怎么齐国人都喜欢偷东西吗？”
晏子知道这又是给自己设的局，于是就垂手顿足地说：“我听说江南有橘，移过江北就会变成枳。之所以会这样，是因为水土不同。齐国人在齐国就不会偷东西，到了楚国偷东西完全是因为楚国的土地啊，这跟齐国有什么关系。”
楚王听完之后默然良久，对晏子说：“我本来是想侮辱一下你的，没想到却被你给侮辱了。”
第三节考察内心
五行为外刚柔
内刚柔，则喜怒、跳伏、深浅者是也
粗蠢各半者，胜人以寿
纯奸能豁达，其人终成
纯粗无周密，半途必弃
【原典】
五行为外刚柔①，内刚柔②，则喜怒、跳伏③、深浅④者是也。喜高怒重，过目辄⑤忘，近“粗”。伏⑥亦不伉⑦，跳亦不扬⑧，近“蠢”。初念甚浅，转念甚深，近“奸”。内奸者，功名可期。粗蠢各半者，胜人以寿⑨。纯奸能豁达⑩，其人终成。纯粗无周密，半途必弃。观人所忽，十有九八矣。
【注释】
①外刚柔：指刚柔的外在表现。
②内刚柔：指刚柔的内在表现。
③跳伏：指激动与平静两种情绪。
④深浅：这里指人城府的深浅。
⑤辄：就，立即。
⑥伏：情绪平静，心态平和。
⑦伉：高大，这里引申为情绪激动。
⑧跳：情绪波动很大。扬：指人的情绪高昂。
⑨胜人以寿：比别人寿命长。
⑩豁达：心胸开阔。
【译文】
前面所说的五行，是人的阳刚和阴柔之气的外在表现，即是所谓“外刚柔”。除了外刚柔之外，还有内刚柔。内刚柔指的是人的喜怒哀乐的感情、激动或平静的情绪和有时深、有时浅的心机或城府。遇到令人高兴的事清，乐不可支，遇到令人恼怒的事情，就怒不可遏，而且事情一过就忘得一干二净，这种人阳刚之气太盛，其气质接近于“粗鲁”。平静的时候没有一点张扬之气，激动的时候也昂扬不起来，这种人阴柔之气太盛，其气质接近于“愚蠢”。遇到事情，起初考虑，看起来想得似乎很肤浅，然而一转念，想得又非常深入和精细。这种人阳刚与阴柔并济，其气质接近于“奸诈”。凡属内藏奸诈的人外柔内刚，遇事能进能退，能屈能伸，日后必有一番功业和名声可以成就。既粗鲁又愚蠢的人，刚柔皆能支配其心，使他们乐天知命，因此其寿命往往超过常人。纯奸的人——即大奸大诈者，其心能反过来支配刚柔，遇事往往能以退为进，以顺迎逆，这种人最终会获得事业的成功。那种外表举止粗鲁，内心气质也粗鲁的人，只是一味地刚，做起事来必定要半途而废——也就是“内刚柔”，而且一般人十有八九都犯这个毛病。
【评述】
这里讲的“内刚柔”，是与“外刚柔”相对的。外形之刚柔，就是前面所讲形体之五形，可以反映一个人的魄力、性格，很容易在直观上看到。“内刚柔”所反映的是一个人的城府，需要通过日常相处来推敲。
笑能笑死、哭能气尽者，给人的直觉就是“缺心眼儿”。所以曾国藩说，喜则手舞足蹈、得意忘形；怒则狂暴焦躁、不计后果；喜怒过后，则立刻云开日出，将刚刚发生过的事抛在九霄云外再不萦怀者，看似直来直去、豪迈豁达，实则是气盛、莽撞之人。这样的人，可以称之为“粗人”，做事欠缺考虑，仅凭匹夫之勇，冲锋陷阵还可以，但却绝非将帅之才。
相反，如果一个人性格温柔到毫无血性的地步，想急急不起来，想激动也激动不起来，很少有兴高采烈的时候，也决然无怒不可遏的时分，就近乎“不智”了，因为这样的气质既是缺乏果断的表现，又是缺乏自强精神的表现，因而很容易因优柔寡断而错失良机，因没有原则而大失众望。这样的人，不是可用之才，亦非可交之友，更非可托之人。
对选贤任能而言，粗、蠢自然不好，但这样的性格却有益于身体健康长寿。特别是“粗蠢各半者”，心里要么不介意任何事情，要么不动怒、不动气，无所用心，自然五脏无损、经脉顺畅、健康长寿了。
“粗”人，可以称为阳刚过剩，也即肝火太旺；“蠢”人，可以称为阴柔至盛，也即心火不足。论城府而言，自然是刚柔相济为最好。然而，刚柔相济的类型中，又有一种人需要注意。那就是曾国藩所说的“近奸者”。何谓近奸者？初念甚浅，转念甚深，也就是表面不动声色，心里不停盘算的人。往往是越想越觉得不妥，但又不好食言，于是在执行约定的过程中不知不觉地刻意扭转进程。这样的人称之为“内奸”，其城府深处是不易被人发觉的，甚至事后都不一定能被人发现其暗自着力用心处，所以曾国藩说“内奸者，功名可期”。