有人认为，世界上最早的音乐学院是我国古代周武王时创办的名为“辟雍”的音乐学校。
也有人认为，世界上最早的音乐学院是我国唐代的“梨园”。唐初的梨园原只是与枣园、桑园、桃园、樱桃园并存的一个果木园，其中设有离宫、别殿、酒亭、球场，是供帝后、皇戚、贵臣饮宴游乐的场所。开元二年（714年），唐玄宗李隆基选定长安梨园为乐舞、戏曲的活动中心。从此，梨园的性质起了变化，实际上成为我国历史上第一个综合性的音乐、舞蹈、戏曲艺术学院和文艺团体，唐玄宗亲自担任这所“学院”的总领导。
还有人认为，我国唐代的教坊，也是培养音乐艺术人才的场所，里面包括歌舞、器乐、声乐、作曲、理论等等，也该称为早期的音乐学院。
更多的人则认为，最早的音乐学院来源于早期欧洲的孤儿院。1537年，那不勒斯孤儿院院长认为，对那些无家可归的儿童进行教育，除必要的课程与手工劳动外，绝大多数儿童都对于音乐有天生的爱好与接受能力。音乐既可以改变这些野孩子的坏习性，又有助于他们的身心健康，还可以使他们接受美的东西，是一种良好的教育孩子的手段。因此，在课程中，他们增加了音乐课。到了17世纪初，在孤儿院增添音乐课的做法，被许多孤儿院广泛采用。在有的孤儿院里，音乐课占有相当的比重。
18世纪，意大利首先把孤儿院作为培养音乐演奏（唱）家和作曲家的专门场所，并指聘有名的音乐表演艺术家、音乐理论家等赴院任教，而使孤儿院成为音乐学院的雏形。因此，直至现在，音乐学院这个名称，还来自意大利文的孤儿院——Conservatorio。此后，欧洲各国先后派人到意大利来取经学习。这样，意大利便成为世界上最早的音乐学院的发源地了。
1793年，在法国巴黎，正式成立了一所音乐学院，命名为“巴黎民族音乐研究院”。两年后，改名为“音乐与吟咏艺术学院”，专门培养器乐演奏家与歌唱家，后来，又改名为“巴黎音乐学院”，成为全世界资格最老的高等音乐学府。
19世纪至20世纪间，世界各国许多大城市的音乐学院陆续相继创办起来。这些音乐学院是：
布拉格音乐学院（1821年）[捷克]
华沙音乐学院（1821年）[波兰]
维也纳音乐学院（1821年）[奥地利]
伦敦音乐学院（1822年）[英国]
马德里音乐学院（1830年）[西班牙]
布鲁塞尔音乐学院（1832年）[比利时]
布达佩斯音乐学院（1834年）[匈牙利]
莱比锡音乐学院（1834年）[德国]
里约热内卢音乐学院（1847年）[巴西]
柏林音乐学院（1850年）[德国]
科隆音乐学院（1850年）[德国]
波士顿音乐学院（1853年）[美国]
彼得堡音乐学院（1862年）[俄国]
布加勒斯特音乐学院（1864年）[罗马尼亚]
莫斯科音乐学院（1866年）[俄国]
索菲亚音乐学院（1921年）[保加利亚]
上海国立音乐院（1927年，现上海音乐学院）[中国]