从天真孩童到一国之君，又从一国之君降为阶下之囚，再从阶下之囚到西藏高僧，最后，仍被以莫须有的罪名处死。赵的经历，在中国历代帝王中是绝无仅有的。
德佑二年（1276年）春，赵一行被掳北上。闰三月二十四日，赵抵达大都（北京）。此时，由于忽必烈在上都，恭帝一行随后又启程前往上都，于四月底抵达。五月二日，忽必烈接见了赵等人，赵被降封为开府仪同三司、检校司徒、瀛国公。元朝统治者此举具有强烈的政治意味，表面上优礼有加，事实上，全太后母子只能在高墙深院中度过时日，无法自由行动。随后，赵等人又被迁回大都。
忽必烈清楚地知道，赵虽已退位，并且年纪尚幼，但仍然具有潜在的号召作用，只有对他妥善地安置，才能招徕那些尚未归顺的南宋遗民，因此，对其十分优待，给予了优厚的物质条件。这些宋室成员，虽然生活条件十分优越，但毕竟身负亡国之恨，精神上受到的折磨，是难以用语言加以描述的。谢太后内心极度痛苦，与人“冷眼交流”，在度过7年不自由的时光后，于74岁时病逝。全皇后则带着年幼的赵出家为尼，之后，死于正智寺。与以谢太后为首的皇室高级成员相比，一些低级的妃子由于地位低下，得不到元朝的优待，境遇十分凄惨，有些人无奈之下只得以死相抗。赵等人抵达上都不久，陈氏、朱氏两名妃子和两名宫女就上吊自杀了，朱氏在衣服中留下了一首诗：“既不辱国，幸免辱身。世食宋禄，羞为北臣。妾辈之死，守于一贞。忠臣孝子，期以自新。”既表达了誓死不辱的意愿，也希望以自己的死来唤起宋室“忠臣孝子”图强自新的斗志。忽必烈得知后大怒，将四人头颅割下，悬挂在全皇后寓所，以示警告。
赵毕竟是赵宋遗民心目中“正统”的代表，对那些宋室“忠臣孝子”仍然具有巨大的感召力，这是忽必烈的心头大患。至元十九年（1282年），福建有位僧人告诉忽必烈，他夜观星象，土星侵犯帝座，必将有人危害皇帝，应该加以提防。接着，中山有人自称“宋主”，聚众千余，声称要进大都劫取文天祥。京城里也有人上匿名信说有人要为“文丞相”起兵。事后查明，以上诸说纯系谣传，但忽必烈已然感到，此时刚满12岁的赵和囹圄之中的文天祥依然是对元朝统治的威胁，因此下诏，以赵不宜居大都为名，将他迁往远离内地的上都。
玉雕水月观音像加图：《二十四史》p462的S1704之后，南方的抗元运动仍然此起彼伏，有地方官上奏说：“江南归附十年，盗贼迄今未靖者，宜降旨立限招捕。”虽然南宋灭亡已12年之久，元朝在中原的统治也大体稳定，但赵的存在，仍使忽必烈感到担忧，终于在至元二十五年（1288年）冬天，忽必烈颁布诏令，将赵迁往更加荒远的吐蕃去学习佛法，即日启程。这时，赵仅19岁。
赵到达吐蕃后，居住在萨迦大寺，被尊为“合尊”法师，意思是“天神家族的出家人”，这是对王室子弟出家僧人的尊称。为了忘掉以往的伤心事，赵终日以青灯黄卷为伴，研究佛法，学习藏文，过着孤寂清苦的僧侣生活。多年的苦读，使他精通佛学，成为了一代高僧，还一度担任过萨迦大寺的总主持。赵从事佛经翻译工作，一些比较深奥的佛学专著都出自他的手笔，如《因明入正理论》、《百法明门论》，等等。由于在佛学上取得的突出成就，为汉藏文化交流作出了积极的贡献，赵被藏史学家列入翻译大师之列。
至治三年（1323年），赵已经是53岁的老人了，假如不出意外，他将在异乡安享晚年，但他在云游之际兴之所至，作了一首小诗：“寄语林和靖，梅花几度开。黄金台下客，应是不归来。”此诗表露了他怀念故国而又无法归去的悲苦思绪。元英宗听说以后，认为赵是在“讽动江南人心”，便将他赐死于河西。这样，寄人篱下数十载的宋恭帝赵，最终撒手西去。