生活在同一个气候环境中，人的气色应该较为相同，若某人的色与众人不同，那是因为个人天生的差异所形成的。先天的体质不一样，形色也就各不相同。《灵枢·阴阳二十五人》说：“木形的人色青，土形的人色黄，火形的人色赤，金形的人色白，水形的人色黑。”这是因为各自的禀赋在某方面偏盛了，所以其相应于某方面的气色就特别明显。
然而，这五种类型的人，其脏腑的盛衰，骨节的大小，筋的粗细，肌肉的坚脆，皮肤的厚薄，血的清浊，气的滑涩，脉的长短，血的多少，按经络循行对应的八卦象数，以及气血营卫在白天和黑夜运行于全身的度数，又各不相同。推而广之，好比人心不同，各如其面，岂是按阴阳就能简单地划分为五种形态的。如果每种形态再分五色，五五才二十五，难道天地间仅有这二十五种吗？变化是无穷的。所以古代圣人根据人的颜色，推测出黄赤的人多热气，青白的人少热气，黑色的人多血少气，然后参照四时，结合五行，才可以推算其生克关系，判断其吉凶预后。
《四诊心法》说：“五脏之色随五行显现，是活到百岁都不变的，这就是人的主色。四时之色，随四时出现，推移而不常在的，属于客色。主色是人气所产生的，客色是时令之气所化生的，时令之气胜过人气的为顺，人气胜过时令之气的为逆。所谓逆，就是春季之色当青而反白，秋季之色当白而反赤，夏季之色当赤而反黑，冬季之色当黑而反黄，长夏之色当黄而反青，这些都是可以随时观察得到的。”
何况脸色来源于内心，受处世态度、四时气候、身体状况、人情关系等多方面影响，而不是某一种因素单独决定。