“胡说”一词始于我国东晋之后，史称这一时期为“五胡乱中华”。当时，在我国西部、北部生活的少数民族被称为胡人，“五胡”是指匈奴、鲜卑、羯、氐、羌五个少数民族。因晋王朝腐朽没落，力量衰微，“五胡”趁机打进了中原，并主宰了中原。
“胡人”统治中原后，根本就不把孔子的学说放在眼里，什么“非礼勿视”、“非礼勿言”、“非礼勿听”、“非礼勿行”，他们一概不听，给当时的社会造成了一定的混乱。
于是，人们把不受任何礼法约束地说话称为“胡说”。这就是“胡说”一词的来历。现在，“胡说”一词指的是没有任何根据的乱说乱道，与原来的“胡说”意思相差很多了。