山药的根有两种类型，一种是根状块茎具贮藏功能，一种是须根具吸收功能。吸收根着生于根状块茎表面，集中分布在土壤表层20～30厘米处，呈水平方向生长，起着支持地上部和吸收养分的作用。根状块茎是主要的产品器官，不同地区因土壤和气候条件及品种的不同，根状块茎有棍棒状、脚板状和块状等多种形状，外表皮粗糙或光滑，有赤褐、黑褐、淡褐和紫红等颜色，根肉白色或淡黄色，根状块茎有明显的垂直向地生长习性，土壤适宜，根状块茎生长好、产量高。
山药根系生长旺盛，吸收能力强，抗旱能力较强，在土壤含水量15％～18％时能正常生长，山药根系怕渍涝，土壤积水极易造成根腐烂受损。根的再生能力弱，中耕、追肥时应注意保护根系，疏松的土壤有利于根系生长。