山药的食用部分，不是肥大的根，而是肥大的茎，因此称块茎。因为长在地下，所以叫地下块茎，又因为长的像根，有时也叫根状茎，但不能叫块根。
山药的块茎形状变异较多，虽然大致可以分为长形山药、扁形山药和圆形山药，但在各类型中都有中间类型的变异。尤其是扁山药，块茎变化最大，有掌形的、扇形的、八字形的甚至还有长形的。山药块茎形状的变异，主要是受遗传和环境的影响，其中土壤环境的影响最大。
棍棒形长山药，上端很细，中下部较粗，一般长度为60～90厘米左右，最长的可达2米。其直径一般为3～10厘米，单株块茎重0.5～3.0千克，最重的可达5千克以上。棍棒形长山药，肉极白，粘液很多，其尖端组织色泽洁白或淡黄，且有深黄色根冠状附属物，此为栓皮质保护组织。块茎停止生长后，尖端逐渐变成钝圆，并呈浅棕色。扁山药块茎扁平，上窄下宽，且具纵向褶襞，形如脚掌。圆山药多为短圆筒形，或呈团块状，长15厘米，直径10厘米左右。大薯的形状和颜色较多，有长形的、扁形的、圆形的，五股八杈，肉为红色或紫红色。
山药块茎上端存有一个隐芽和茎的斑痕，通常用来做种，称山药栽子。除这一个顶芽外，其他部位都有不定芽。因此，把山药块茎的任何部分切段栽植，都可以长出山药来。
山药块茎的成分以淀粉为主，也含有蛋白质和粘液物质。