李渊把政权交给李世民，在没有离开皇帝宝座之前，还要考虑一下他的思想归宿问题。尽管李渊基本是以儒学原则来治理国家，但在他所处的时代，不能不受到宗教观念的巨大影响。尤其是自魏晋南北朝以来，胡族大量内迁，用中国传统的儒家思想，不可能统一各族各阶层人们的认识。这样一来，胡族较为倾向的佛教和汉族较为倾向的道教就成为社会上普遍重视的两种信仰了。李渊生在这个时代，他是不可能超越这个历史阶段的。
李渊家族，本出身鲜卑族军户，于是与佛教有较多关系。李世民9岁时患重病，李渊时任隋朝的雍州刺史，特别到位于今天陕西户县城郊的草堂寺为李世民祈福。草堂寺是后秦姚兴执政时请西域高僧鸠哮罗什到长安讲经之所，由于鸠摩罗什讲经时注意适应听众的要求，“口称秦语，曲从方言”，结果大受欢迎，听讲者太多，以至他讲经时当地“十室九空”。他圆寂后舍利留在草堂寺，于是在关中老百姓心目中，草堂寺是有灵验的佛寺。李渊了解到这些情况，所以才在李世民重病时到草堂寺来祈福消灾，并且在大海佛寺“为男敬造石碑像一铺”，《全唐文》卷3还收有李渊做此事时所写的《草堂寺为子祁疾疏》。
虽然李渊有拜佛的经历，但他始终没有成为皈依佛门的信徒，这与他在太原起兵后受道教徒的包围有关。就在李渊太原起兵的隋炀帝大业十三年（公元617年），关中道教徒所奉老子入关说经之所一周至终南山楼观台的道教宗师歧晖就预言“天道将改”，并且，告诉弟子说：“当有老君子孙治世，此后吾教火兴。”歧晖的说法自然有弟子去俺播，所以李渊太原起兵向长安进发，兵阻霍邑时，有道上，打扮成白衣老父模样，来到李渊车门，说：“八月雨止，路出霍邑东南，吾当济师。”这本来是关键，道教徒盼李渊入关中的表现，李渊却相信自己得到了佛道诸神的支持，为此进军入关中至华阴时，曾临佛寺祈福；当他再向前走，就遇到道教徒的欢迎。歧晖不但以楼观台的资粮供给李渊义军，还派观中道士80余人去蒲津关迎接李渊。为此，李渊在建立唐朝的武德初年发布《禁正月五月九月屠宰诏》中说：“释典微妙，净业始于慈悲。道教冲虚，去其残杀。”然而到了武德三年（公元620年），李世民在河东与刘武周、宋金刚交战时，遇一晋州道士吉善行，说在羊角山见白衣老父，对他说：“为我语唐天子，吾为老君，吾汝祖也。今年平贼后，子孙享国千年。”李世民把这一奇遇报告李渊，李渊正为自己门第不高而发愁，得了这个捡来的门第，认为可以大作文章，亲率文武百官千余人到楼关台祭祀老子，召见歧晖等高级道士，声称：“朕之远祖亲来降此，朕为社稷主，其可无兴建乎！”于是令改楼观台为“宗圣宫”，赐白米二百石，帛一千匹。从此，道教祖师老子成为李渊的远祖，唐朝皇帝都与道教结下不解之缘。李渊在武德八年将道教列为诸教之首，主要原因就是这建唐时期的这一偶然相遇。
道教通过与李渊拉关系取得了优势地位，但是教义贫乏，炼丹、修行需要钱财，在传播力上不如佛教，以至在李渊执政的武德年间，佛教的影响越来越大，佛寺广占土地，大量劳动力以进入佛寺为名逃避赋役，使唐朝的财政开支遇到困难，这样就出现傅奕反佛事件。
傅奕原是道士，入朝做官后恢复儒学士人的面貌，从维护唐朝政权利益出发，在武德七年（公元624年）上疏反佛，如《旧唐书》卷79《傅奕传》载：
佛在西域，言妖路远，汉译胡书，恣其假托。故使不忠不孝，削发而揖君亲；游手游食，易服以逃租赋。演其妖书，述其邪法，伪起三涂，谬张六道，恐吓愚夫，诈欺庸品。凡百黎庶，通识者稀，不察根源，信其矫诈。乃追既往之罪，虚规将来之福。布施一钱，希百倍之报；持斋一日，冀百日之粮。遂使愚迷，妄求功德，不惮科禁，轻犯宪章。其有造作恶逆，身坠刑网，方乃狱中礼佛，口颂佛经，昼夜忘疲，规免其罪。且生死寿夭，由于自然；刑德威福，关之人主。乃谓贫富贵贱，功业所招，而愚僧矫诈，皆云由佛。窃人主之权，擅造化之力，其为害政，良可悲矣！
……况天下僧尼，数盈十万，翦刻缯彩，装束泥人，而为厌魅，迷惑万姓者乎！今之僧尼，请令匹配，即成十万余户，产育男女，十年长养，一纪教训，自然益国，可以足兵。四海免蚕食之殃，百姓知威福所在，则妖惑之风自革，淳朴之化还兴。傅奕的意思是要把僧尼变成生产者，减少国家的负担，增加收入，这对李渊刚统一天下的情况自然有些好处，所以李渊把傅奕的建议交群臣讨论。然而佛教当时在人们心目中的地位是其他思想体系难以替代的，满朝文武中只有太仆卿张道源支持傅奕的意见，中书令萧瑀当即表态说：“佛，圣人也。奕为此议，非圣人者无法，请置严刑。”傅奕立刻反驳，他说：“礼本于事亲，终于奉上，此则忠孝之理著，臣子之行成。而佛逾城出家，背逃其父，以匹夫而抗天子，以继礼而背所亲。萧瑀非出于空桑，乃尊无父之教。臣闻非孝者无亲，其王禹之谓矣！”由于李渊实际支持傅奕的意见，萧瑀无奈，只好合掌说：“地狱所设，正为是人。”
正当李渊想要推行打击佛教的政策时，李建成送来佛僧法琳写的《对傅奕佛僧事》一文，这篇文章长达万言，以严密的逻辑，巨大的说服力、浩荡的气势令李渊折服。李渊发现佛教确实是社会各界已经接受的现实，用行政手段一定不能解决问题，于是改禁佛为限佛，这是他在处理政局时具有较大灵活性的一贯作风。李世民执政对佛教基本采取与李渊相似的政策，这说明父子二人在政权移交时有许多共同的思想认识，并不因佛教徒支持了李建成而改变既定方针。
李渊对道教采取了支持政策，武德八年（公元625年）他宣布“三教次序”：道教最先，儒教次之，佛教最后。为此，法琳特别写了《三教治道篇》，比较儒、佛、道三教的内容和作用。他认为：“若事亲殉主，则以忠孝为初；远害全身，则以道德居始；利生救苦，则以慈悲统源。奉孝怀忠可以全家国，行道立德可以播身名；行慈运悲可以济群品。济群品则恩均六趣，播身名只荣被一门，全家国乃功包六合。故忠孝为训俗之教，道德为持身之术，慈悲盖育物之行，亦犹天有三光，鼎有三足，各称其德，并著其功。尊而奉之，可以致嘉佑也。”这是以让步策略为佛教存在提出理由，却符合李渊崇抑随时的治国方略。根据这样一种见解，李渊对道教只是支持而不迷信，尽管全国各地相继兴修老子庙，那也不过是宣传李渊和老子的亲缘关系，而非对道教的疯狂崇拜。李世民在与李建成争夺皇位继承权时得到道教徒支持，他在洛阳与王世充作战时与房玄龄一道访问道教上清派宗师王远之，王远之对李世民说：“方作太平天子，愿自惜也。”尽管道教徒在政治斗争的形势判断上押宝成功，但李世民在玄武门之变后对道教仍然在很长一段时间内保持清醒头脑，说：“神仙事虚妄，空有其名。”这样在他执政的贞观年间，道教虽然受尊敬，却不曾影响国家的大政方针，这又是李渊和李世民父子的思想共识之一。李世民在做了皇帝后能够提出偃武修文、以儒治国的基本国策，从李渊这里得到的启发是其重要原因之一。
李渊在武德九年（公元626年）六月经历玄武门之变后被迫把政权交给了儿子李世民，同时立李世民为皇太子，确立了李世民继承皇帝之位的合法权力。他唯一保留的权力是李世民处理军国大事后要向李渊“闻奏”，换句话说是要告诉父亲一声。这个形式看起来有些多余，但却是李渊还在做皇帝的象征，不过这又给李渊带来许多烦恼和忐忑不安。
首先，皇帝的权力已经到了李世民手里，李渊从太原起兵到做上皇帝用了十个月的时间，最后翦灭群雄统一天下用了七到八年的时间，不等做太平天子又赶上突厥来犯，威胁长安；还有儿子们为争夺皇位继承权不断在皇宫内、朝廷上掀起波澜。李渊想他这个皇帝做得实在不舒服。他在武德六年（公元623年）对裴寂说想做“太上”，要“逍遥一代”，或许也是一种真情流露。
其次，熟悉隋朝历史的李渊总要想起隋文帝的结局。隋文帝改易次子杨广为太子，杨广一旦确立了太子地位，就进宫去把父亲从皇帝宝座上拉下来杀死，隋文帝“哀痛之声传于宫外”，却没有一个人来救驾。因为来救驾的人都会考虑力量对比，被杀的人是皇帝，杀人的人也是皇帝，在杀人者与被杀者之间，人们多半是站在杀人者一边，而不去管这种屠杀是否合理。现在李世民也做了太子，而且是已经拥有皇帝权力的太子，比杨广做的那种太子要神气得多。如果李世民想做皇帝等得不耐烦，会不会做杨广那样的事情？这可是准也不敢保证的事。历史证明李世民不是杨广，他后来对李渊还是遵循了封建孝道，不过在李渊退位前这两个月中，李渊可是在反复考察判断李世民，生怕隋文帝的悲剧在自己身上重演。一边做皇帝，一边为自己的生命安全担心，这种皇帝真不如不做。
第三，李渊做了皇帝后已经表现出贪图享乐的倾向，由于窦皇后早死，李渊的后妃可以由他自己来挑选，我们可以查到的后妃有万贵妃、尹德妃、莫妃、孙嫔、宇文昭仪、崔嫔、杨嫔、小杨嫔、郭婕纾、刘婕纾、张婕纾、杨美人、张美人、张宝林、柳宝林、王才人、鲁才人、张氏等，这还仅是他那22个儿子的母亲们，至于19个女儿的母亲各是准？史书没有详细记载。由此可以断言，李渊的后妃至少有20余人，至于他在后宫有多少佳丽？就更难统计了。在李渊建唐的武德元年，大理寺史孙伏伽上奏：“陛下二十日龙飞，二十一日有献鹞雏者，此乃前朝之弊风，少年之事务，何忽今日行之！又闻相国参军卢牟予献琵琶，长安县丞张安道献弓箭，频蒙赏劳……百戏散乐，本非正声，有隋之末，大见崇用，此谓淫风，不可不改一近者，太常官司于人间借妇女裙襦五百余具，以充散妓之眼，云拟五月五日于玄武门游戏。”由此可知李渊对骄奢淫逸的宫廷生活也很向往，皇帝做得不舒服，很可能在晚年生活上会有些要求，这也是促使他决定迅速把皇帝位置让给李世民的原因之一。
就在李渊为应在什么时候让位而苦思冥想时，李世民又进行一系列改造李渊朝政的工作。李世民首先组成一个接管宰相权力的领导班子，由字文士及做太子詹事，长孙无忌、杜如晦为左庶子，高士廉、房玄龄为右庶子，尉迟敬德为左卫率，程知节为右卫率，虞世南为中舍人，褚亮为舍人，姚思廉为洗马；这些人时刻准备成为三省六部的长官。李世民又命令放走禁苑的猎鹰、猎犬，停止四方贡献。李渊见李世民确实像做皇帝的样子，于是把自己退位的想法告诉裴寂，由于与裴寂见面很难，所以李渊改写成手诏：“朕当加尊号为太上皇。”几天后又发生了幽州大都督芦江王李瑗造反事件。李瑗很早与李建成有勾结，玄武门之变后，李世民派通事舍人崔敦礼去通知李瑗到京城报到，李瑗怕受惩罚，与右领军将军王君廓商量造反。王君廓想立功，故意表示支持李瑗造反，李瑗就囚禁了崔敦礼，起兵讨伐李世民。王君廓再对士兵们说：“李瑗造反，你们愿和我一道平叛立功吗？”士兵都说：“愿从公讨贼。”李瑗一出现，士兵们一涌而上，将李瑗擒拿，然后勒死。李瑗是李渊的侄子，他这一死，又增加了李渊的恐惧感，李渊为此下定交出皇位的决心。
就在李渊准备退位的同时，李世民宣布了他的中枢人员构成：以高士廉为侍中，房玄龄任中书令，萧瑀为尚书左仆射，长孙无忌为吏部尚书，杜如晦为兵部尚书，封德彝为尚书右仆射，杜淹为御史大夫，颜师古为中书舍人，刘林甫为中书侍郎，侯君集为左卫将军，段志玄为骁卫将军，薛万彻为右领军将军，张公瑾为右武侯将军：还有长孙安业为右监门将军，李客师为领左右军将军。李渊见形势发展比他想象的要快得多，认为没有必要再在皇帝位子上坐下去了，于是在八月，也就是玄武门之变后的两个月，宣布传位于太子，自己做了太上皇。
李渊一旦退位，史书上有关他的内容就大大减少。只知道李世民是在太子东宫的显德殿登基做皇帝的，这就是历史上著名的唐太宗。他考虑到没有建新宫，李渊一下子丢了皇帝位心里也不好受，故意不去惊动李渊的生活起居，这样李渊仍然住在太极宫里，并且仍然在太极殿里接受李世民的汇报，这样的情况一直维持了3年。直到贞观三年（公元629年）夏四月，李渊觉得自己在国家正式的朝政宫殿里住着不大合适，提出迁居到武德五年（公元622年）修建的弘义宫去，李世民才得以在太极宫内表现出继承了李渊全部家业的样子。当然，这不过是李世民故意给退位的父亲留的一点面子。
太上皇的日子对一个政治家来说总是很难适应的，李渊在享乐之余，常过问一下国家情况如何了？不料听到的多是好消息，尤其是贞观四年（公元630年），他得知唐军在对东突厥作战中获胜，擒获东突厥首领颉利可汗，极为兴奋，从城西的弘义宫出来，在太极宫凌烟阁主持祝捷宴会。如《资治通鉴》卷193所载：
上皇闻擒颉利，叹曰：“汉高祖困白登，不能报；今我子能灭突厥，吾托付得人，复何忧哉！”上皇召上与贵臣十余人及诸王、妃、主置酒凌烟阁，酒酣，上皇自弹琵琶，上起舞，公卿迭起为寿，逮夜而罢。唐太宗见父亲对开拓边疆，征服四夷的功业感兴趣，只要有边疆少数民族政权首领来长安，往往奏知太上皇。如贞观五年（公元631年）高昌王鞠文泰来长安朝拜，唐太宗在宴请高昌王后，“亲献禽于大安宫”。大安宫就是李渊住的弘义宫，改名“大安”，是唐太宗对父亲晚年的祝福。
唐太宗总怕别人说他从父亲手里夺取了政权，于是常在臣下面前表现出对李渊的敬爱。如《资治通鉴》卷194载贞观六年的一次表演：
冬十月乙卯，车驾还京师。帝侍上皇宴于大安宫，帝与皇后更献饮膳及服御之物，夜久乃罢。帝亲为上皇捧舆至殿门，上皇不许，命太子代之。李渊明白儿子的用意，在外面总表现出生活得很快活的样子，这样父子二人相安无事，李渊平安地度过了他的晚年。
贞观八年（公元634年），正是唐太宗取得辉煌政绩的时候，李渊似乎也感到很大的满足，如《旧唐书》卷1《高祖纪》载：
贞观八年三月甲戌，高祖宴西突厥使者于两仪殿。顾谓长孙无忌曰：“当今蛮夷率服，古未尝有。”无忌上千万岁寿。高祖大悦，以酒赐太宗。太宗又奉觞上寿，流涕而言曰：“百姓获安，四夷咸附，皆奉遵圣旨，岂臣之力！”于是太宗与文德皇后互进御膳，并上服御衣物，一同家人常礼。是岁，阅武于城西，高祖亲自临视，劳将士而还。置酒于未央宫，三品已上成侍。高祖命突厥颉利可汗起舞，又遣南越酋长冯智戴咏诗，既而笑曰：“胡、越一家，自古未之有也。”太宗奉觞上寿曰：“臣早蒙慈训，教以文道；爰从义旗，平定京邑。重以薛举、武周、世充、建德，皆上凛睿算，幸而克定。三数年间，混一区宇。天慈崇宠，遂蒙重任。今上天垂佑，时和岁阜，被发左衽，并为臣妾。此岂臣智力，皆由上凛圣算。”高祖大悦，群臣皆呼万岁，极夜方罢。这是李渊临终前一年的情景，也是他自己感到满足的事业高峰。虽然这一切基本都要算在儿子李世民的功劳簿上，但李世民把这一切归功于父亲的教诲、指导，自然使李渊感到欣慰。他开创了一个唐王朝，又眼看着这个王朝正在走向兴旺发达，作为一个封建政治家，他应该觉得此生并不虚度。虽然太上皇的日子并非他的初衷，但他毕竟适应了这种生活。如果我们能想到他是在公元626年把政权交给李世民的，也就是说他让李世民提前9年做了皇帝，使李世民的才干更好地发挥了9年，应当说是一种因为历史巧合而产生的历史贡献。