我国早在夏朝就有了学校，那时的学校叫“校”；商朝把学校称为“序”；周朝把学校称为“庠”。《孟子·滕文公上》记载：“夏曰校，殷曰序，周曰庠，学则三代共之。”《礼记·学记》载：“古之教者，家有塾，党有庠，术有序，国有学。”塾、庠、序都是学校的称谓。
周代，在百里之内，25家为闾，共处一巷，巷首有门，门边有塾，塾即门外舍，由于人们朝夕出入，受教于此，塾便成了学校的代称；500家为党，设庠；12500家为遂，设序；而天子之都及诸侯国则设学，如此逐级升高。后来，人们专称私人设立的学校为塾，叫私塾。庠、序都指普通学校。
当时周王朝已设有大学，并把大学称为“辟雍”和“太学”。《礼记·王礼》称：“太学在郊，天子曰辟雍，诸侯曰泮宫。”“帝入太学，承师问道。”并把大学分为五种，即南为成均，北为上庠，东为东序，西为瞽宗，中为辟雍，这些都是培养贵族子弟的学校。
汉代改“大学”为“太学”。
晋武帝时设立了国子学，与太学并立。到了隋代，隋文帝专设了“国子寺”，总辖国子学、太学等。隋炀帝设“国子监”，是贵族子弟的最高学府。唐代开始设书院，如“丽正修书院”、“集贤殿书院”等，同时还建立了“书学”，专门培养书法人才。宋代设立了白鹿洞、嵩阳、睢阳、岳麓四大书院，作为藏书、讲学的场所。以后元、明、清三个朝代，学校都以书院相称。
我国把学校称为“学校”是从清末开始的。1878年，清政府在上海设立的上海正蒙书院小班是小学的萌芽；1897年建立的南洋公学附属小学，是公立小学的首创；1897年南洋公学所设立的中院是我国中学的雏形。1902年，在《钦定学堂章程》中人们仍称学校为“学堂”，直到1912年在学制改制中，才改称“学堂”为“学校”。