孔子曾被封为“大成至圣文宣王”，孔子葬地称陵完全是有资格的。但为何却称为“孔林”呢？这要追溯到原始的葬人制度。
在原始社会初期，并不存在丧葬事宜。人自然而然地生，自然而然地死。有的随意掩埋，有的只是听之自朽，既不封土，也不植树。直到春秋时代晚期，才出现了坟丘形式的墓葬。据《礼记·檀弓上》记载，孔子的父亲叔梁纥、母亲颜徵在去世后，孔子将父母合葬在防（今山东曲阜县城东7.5公里防山之北）的时候，曾对弟子们说：“古也墓而不坟。”（无高土隆起）由于孔子常年率弟子周游列国，为了回到故乡拜祭父母时能找到墓地，孔子“封之，崇四尺”（筑了四尺高的坟丘）。据现有文献来看，孔子是有明确记载的封土为坟的第一人。
孔子死后，弟子们为为他选择什么样的墓式煞费苦心。子夏回忆，从前孔子讲过，看到几种不同式样的坟墓：有的四方而高，像建筑的高堂一样；有的狭长而高，像“坊”一样；还有的四方广阔而两旁向上尖削，如同斧的刃部一样，这种形式又像马鬣（马颈上的一排刚毛），叫做“马鬣封”。孔子赞成后一种。于是，孔子墓的“马鬣封”的制式得以确立，成为封建社会一种特别尊贵的筑墓形式，影响很广。
也许弟子们出于对老师的尊敬，或是担心日后找不到老师的墓地，故不约而同地带着树种来到孔子葬地，围绕着墓地种植树木，作为老师墓地的标志。与此同时，不少弟子还为老师守墓。比如孔子的得意门生子贡，是春秋时期了不起的外交家和富商，他在老师墓前盖了一座茅屋，为老师守墓六年。
东汉桓帝时，朝廷以官方名义修了孔子墓。此后，历代帝王不断赐给祭田、墓田，重修和扩建，才形成现在的古木参天、遮天蔽日的孔林规模。