秦朝末年，楚汉争霸，汉高祖刘邦最终取得了胜利。汉王五年（公元前202年）十二月，项羽被刘邦十面埋伏，围于垓下（今安徽灵璧县东南）。项羽突围不成，自刎于乌江（今安徽和县东北的乌江浦）。
汉高祖刘邦当上皇帝后，每天都去参拜自己的老父亲。谁知有一天当他又去参拜父亲刘太公时，却见父亲穿着一件旧袄，手拿扫帚，毕恭毕敬地迎接他。刘邦大吃一惊，急忙上前搀扶父亲，而刘太公却连连后退。刘太公说：“您贵为天子，谁敢不敬？我虽然是您的父亲，也只是一个平头百姓，平头百姓不敬皇帝，是要被杀头的。我也不想为这事坏了天下的法纪。”
汉高祖犯了愁，对于怎样才能不失礼度地对待自己的父亲，他一直想不出个好办法。后来，有个大臣说秦始皇曾尊去世的父亲为太上皇，建议封刘太公为“太上皇”。刘邦听了这话大喜过望，马上举行大典，将刘太公扶上太上皇位。皇帝的父亲从此就被称为“太上皇”，这一叫法历代沿袭下来。