1927年6月，奉系军阀张作霖接管北京政权。教育总长刘哲以“有伤社会风化”、“浪费国家钱财”为由，下令停办北京国立院校所有的音乐科系，萧友梅苦心经营了五年的北京大学音乐传习所也被迫解散。这时，萧友梅来到上海。
经过多方努力，并且因蔡元培力挺，南京政府才勉强同意萧友梅开办音乐学院的请求，但所拨经费少得可怜。第一年拟招生五十名，经费仅三千元，以后逐年增加，五年后招收二百五十名学生，经费一万五千元，而开办费用也仅六万元。即便是这样，开办经费也不过是一张空头支票。
经过艰苦的努力，才在上海法租界陶尔斐斯路租了几间房子作为校舍，终于在陶尔斐斯路五十六号挂上了“国立音乐学院”的牌子。
此后，国民政府经常拖欠少得可怜的办学经费，学校因交不起房租而不得不常常搬家，十多年的时间，竟然九迁校址。但就在这样艰苦的条件下，学校却培养出了贺绿汀、吕骥、丁善德、江定仙、谭小麟、冼星海等一大批中国现代音乐的大家，为中国的音乐事业做出了不可磨灭的贡献。
冼星海在北京的时候就已经与萧友梅认识，萧友梅对冼星海非常欣赏。冼星海家里很穷，为了帮助他，萧友梅就让他到音乐传习所管理书籍和抄写乐谱，挣一点钱贴补生活费用。国立音乐学院成立以后，萧友梅又让冼星海、熊乐忱等原北京大学音乐传习所和北京艺专的学生免试入学。冼星海到国立音乐学院以后，萧友梅又安排他半工半读。据当时国立音乐学院的学生陈振铎说，当时只有他和冼星海两人是工读生，每天下午在校办公室工作两小时，每月有八到二十元的生活费。
冼星海在国立音乐学院修的是小提琴，但萧友梅觉得已经二十三岁的冼星海再修小提琴不是很合适，就建议他改学作曲。冼星海听从了萧友梅的建议，专攻作曲，后来成为著名的作曲家。
1929年6月，由于学校经费实在太紧张，校方规定暑假期间在学校住宿的学生需交八元的宿杂费（包括房租、水电和练琴费），有些经济困难的学生申请免交，没有获得批准，于是一些学生就采取了罢课的方式，并引发了学潮。一些别有用心的人指使学生赴南京请愿。作为学生会的负责人，冼星海站在了这次学潮的前列。
就在这个时候，国立音乐学院被降格为音乐专科学校，虽然萧友梅提出了辞呈，但仍然被聘为校长。原音乐学院的学生凭通知可以来校注册，继续学习，但冼星海、熊乐忱、蒋风之、陈振铎等十二名学潮中为首的学生只收到成绩单，没有收到入学通知书，被取消了入学资格，或者说是被学校开除了。
这件事不但使萧友梅非常痛心，而且和前面说到的聂耳未被录取的事一样，萧友梅被不公正地置于“人民音乐家”的对立面。直到近年来，这两桩历史公案才得以澄清。1982年11月27日，上海音乐学院在它的前身——国立音乐专科学校成立五十五周年的纪念日，为这位音乐学院的缔造者、著名的音乐教育家萧友梅塑了一尊半身铜像。