《推背图》是我国最为著名的预言奇书之一，相传是唐太宗时期的李淳风和袁天罡所作。李淳风有一天观天象，得知武后将要夺权之，于是一时兴起，接着往下推算起来，一直推算到唐以后中国2000多年的命运，直到袁天罡推他的背说：“天机不可再泄，还是回去休息吧！”由此得名。据说，李淳风随后把他推算的结果，写成诗歌，又画成图画，通过袁天罡上奏给了唐太宗。
全书共60个图像，每幅图像下均有谶语，并附有“颂曰”诗四句，预言后世兴旺治乱。这些诗句，模棱两可，若明若暗，引发了后世众多学者的引用和注解。
李淳风实有其人，在《旧唐书》、《新唐书》中都有记载。他博通群书，精通天文历算阴阳之学，是一个了不起的天文学家。他在史书中又被描写成一个预言家，在小说中更成了出阳入阴的半仙。新旧《唐书》的《李淳风传》中都记载了这样一个故事，而正是这一故事引出了《推背图》。
唐太宗时，社会上出现一本《秘记》：“唐代在三世之后，将有女主武王取代天下。”太宗就召见李淳风，让他细访此事。李淳风说：“我据天象推算，此事的朕兆已经形成，这人已经出生，而且就在陛下宫中。从现在开始算，不出三十年，她就要据有天下，几乎把李家子孙杀尽。”太宗说：“把宫中那些可疑的人都杀了，你看如何？”李淳风说：“这既然是天意，就没有逃避的办法。该称王的那人是死不了的，你杀的人再多，也不过是些无辜之人。而且根据天象，此人已在宫中，并且是陛下的眷属。再过三十年，她年纪大了，心肠也软了些，即使取代唐的天下，也不会对陛下的子孙杀戮过度。如果陛下现在就把她杀了，上天一定会重新生出一个更年轻的来。年轻人的性情会更狠毒。如果这样，陛下的子孙也许就会被杀光了。”太宗觉得此言有理，就罢手了。
这里所说的《秘记》，又叫谶语、图谶等，其实是一种政治性预言的手抄本。它起源很早，春秋时期就有了。这一谣言究竟是谁编造的，已经无从考证。据《旧唐书》所说，太宗听了李淳风一套“天命难违”的话，就再也不追究了。通过这一故事可看到，李淳风术数的高明和李世民的知天命而行仁政。但是事实似乎并没有这么简单。
同样是《旧唐书》，在《李君羡传》中还记载了另一个故事。
贞观初年，太白星屡屡在白天出现，太史令占测的结果是：“女主昌。”当时又有谣言说：“有女皇统治天下。”太宗听了很不安。当时李君羡做左武卫将军，把守玄武门，小名“五娘子”。太宗知道后，根据李君羡的封邑是武连郡公，官职是左武卫将军，把守的是玄武门，再加上叫“五娘子”，认定“女主武王”就是他。于是硬安个罪名将他杀了。
既然天象说“女主武王”已在宫内，为什么太宗不去狠心除掉，却去杀宫外的功臣呢？何况武媚娘姓氏俱在，比“五娘子”更合谶言。其实这不过是为李淳风编的神话。如果当时真有这种宫中武氏女子将为女主的预言，那么唐高宗永徽六年召集朝中大臣询问废王皇后，立武则天为后之事时，那些极力反对立武则天为后的大臣怎么不把这预言拿出来，作为阻止策立武氏的最有力证据呢？武媚娘的运气真好，唐太宗见了把她纳为宠妾，儿子高宗索性立她为后，这父子俩难道都把“女主武王”的预言忘了？唯一答案只能是：在唐太宗至唐高宗时根本就不存在这个预言！
尽管如此，人们还是爱听李淳风的故事，而且愈传愈神，渐渐演化得“秘记”没了，谣言也没了，武氏乱唐的预测全是李淳风自己推算出来的；再继续演义，李淳风就不仅推算出武氏乱唐，而且接着推下去，就出现了《推背图》。
实际上《推背图》的作者不过是假冒李淳风之名而已。据推测，《推背图》产生的最早时间约在五代，而下限就很难说了，因为现在还有人在通过“解释”继续进行创造。至于作者的身份和动机，也各不相同。由这些人替李淳风“预测”已经发生过的事，那结果当然是神乎其神了。于是元末红巾军的谋士可以预言“鼎沸中原木木来”，以证明韩林儿合乎天命；清末“拳匪”也能用“双拳旋转乾坤”预言满人的末运。
而《推背图》最早见于史书《宋史·艺文志》，但并没有注明撰者，同时书中著录的李淳风著作不少。另外，最早记录《推背图》书名的文献是北宋庄季裕的《鸡肋编》，然后是南宋岳珂的《桯史》。岳珂《桯史》“艺祖禁谶书”的记载如下。
唐人李淳风作了《推背图》。到了五代乱世，谣谶之学更加兴盛，当时有一个谶说：“有一真人在冀州，开口张弓左右边，子子孙孙万万年。”“开口张弓”是“弘”字，结果吴越王钱鏐给自己儿子起的名字都带“弘”字，却不知那是宋太祖父亲赵弘殷受天命的预兆。到了宋太祖即位，开始禁止谶书。可是《推背图》在民间收藏甚多，无法彻底查禁，官府很头疼。太祖就说：“不必多加禁止，只要把水搅浑就行。”便命人取来最早的本子，除了已经应验的以外，其他的都把次序打乱，如法炮制了一百本，传播开去。见到的人弄不清孰先孰后，同时他发现不再应验，也就不再保存了。
从这则材料中可知，北宋初年《推背图》在民间相当流行，而且一直到南宋岳珂所见的《推背图》中，关于五代之后的预言都是落空、不灵验的。而现在我们见到的《推背图》中，关于宋朝的预言却“应验”得天衣无缝，这说明现在人们所见的《推背图》中关于宋以后的预言都是岳珂以后才有的，即南宋以后的人伪造的。
所以完全可以假设，五代是《推背图》最初产生的时代。此后第二次对《推背图》进行再创作的时代，极可能是元末。到了清朝，可能又对《推背图》进行了第三次加工。我们现在见到的比较可靠的《推背图》，即明末清初金圣叹的批注点评本，大致就是这个时代的“定本”。原本现仍保存于台北故宫博物院中。到了20世纪初，又出现了多种新编的《推背图》。