但是这种恩宠并未持续多久。教皇尤利乌斯二世的性格与米开朗琪罗那变化无常的性格相比，有过之而无不及。他一会儿热衷这个计划，一会儿热衷另一个全然不同的计划。对他而言，另一个计划更能使他名垂千古：重建圣彼得大教堂。这个改变是米开朗琪罗的敌人促成的。米开朗琪罗的敌人众多而且势力强大。他们中的首领与米开朗琪罗势均力敌，而且有着更强的意志力，那就是布拉曼特·杜尔宾，教皇的建筑师，也是拉斐尔的朋友。这两个翁布里亚（意大利中部地区）伟人理智坚强，而米开朗琪罗是个佛罗伦萨的孤僻天才，两者之间没有任何同情可言。如果这两个人决定要对付米开朗琪罗至少布拉曼特有此想法。拉斐尔和布拉曼特交情甚好，这使他不得不与前者携手合作，但没有任何证据显示拉斐尔个人有过针对米开朗琪罗的行为。倒是米开朗琪罗曾正言指责过拉斐尔：“尤利乌斯教皇二世和我之间所有的隔阂都是因布拉曼特和拉斐尔的嫉妒所导致。他们总想方设法把我铲除。拉斐尔确实有理由这样做，因为他对艺术的了解都是从我这里得到的。”（1542年10月，写给一个不知名人士的书信），那也是米开朗琪罗挑起的。米开朗琪罗不管对错、冒失地指责布拉曼特，并控告他在工程中贪污。康狄维对米开朗琪罗盲目的友谊使他也产生了疑虑，他说：“布拉曼特先是因为嫉妒所以陷害米开朗琪罗，也是畏于米开朗琪罗对他的判断，因为他发现了自己所犯的错。人人都知道，布拉曼特耽于享乐，挥霍无度，教皇付给他的薪金尽管很高，但还是不够他挥霍。于是他就设法从工程中贪污，用劣质材料建墙体，致使墙体不够坚固牢靠，从他所主持修建的圣彼得大教堂、贝尔迪维宫画廊、圣彼得罗英文珂里教堂回廊等建筑物中，大家都可以发现这一点。现在这些建筑物需要重新支撑加固，因为有些已经坍塌，有些即将坍塌。”布拉曼特立即决定放弃这个工程。
布拉曼特使教皇对米开朗琪罗不再宠信。他利用尤利乌斯二世的迷信思想，说据大众的观念，在生前建造陵墓不吉利。他成功地说服教皇放弃自己对手的工程项目，并以自己的计划取而代之。1506年1月，尤利乌斯二世决定重建圣彼得大教堂。陵墓的计划就此搁浅，米开朗琪罗不只感到屈辱，他还因工程所投入的经费而负债累累。“当教皇心血来潮改变主意时，从卡拉雷运载大理石的货船已经在罗马靠岸，我只能自己掏付运费。与此同时，我从佛罗伦萨邀请来的石匠也来到罗马，我只能把尤利乌斯二世为我在圣卡特瑞纳后准备的房屋收拾好，让他们居住。最后，我自己身无分文，难堪至极。”（1542年10月书信）他只能凄苦地抱怨。可教皇对他大门紧闭，而且当他重回自己岗位时，尤利乌斯二世让一个马夫把米开朗琪罗赶出梵蒂冈。
看到此情此景，卢克奎主教对马夫说：“难道您不知道他是谁吗？”
马夫对米开朗琪罗说：“请原谅，先生，只是我也是奉命行事。”
米开朗琪罗回到自己家中，给教皇写信，说道：“圣父，今天早上我在您圣明的指示下被赶出宫。从今天开始我想让您知道，如果您再需要我，那您就要在罗马之外的其他任何一个地方来找我。”
他把信寄了出去，叫来住在他家中的商人和石匠，对他们说：“找个犹太人来，把我家里所有的东西都卖掉，跟我去佛罗伦萨。”
随后他跳上马就出发了。1506年4月17日。当教皇收到此信，立即派五个骑士追赶，在大约晚上11点时在波吉帮西追上了他，并给了他这道命令：“收到此信，立即赶回罗马，否则将严加处罚。”米开朗琪罗回复道，如果教皇履行诺言，他就回去，否则就永远也见不到他。这段话与米开朗琪罗1542年10月的书信内容毫无二致。
他给教皇写了这首十四行诗：
我的圣主，如果谚语说得没错，那真可谓“只有想不到的，没有做不到的”。你相信那些谎话和闲言碎语，还对真理的敌人给予奖赏。就我而言，我曾经、现在都是你忠诚的仆人，我对于你就像光线对于太阳一样不能分离。可我所耗费的时间并不让你感动。我越是煞费苦心，你越不喜欢我。我曾期望借助你的伟大而使自己伟大，你的公正不阿和强有力的宝剑将是对我评判的唯一标准，而不会用于那些应声虫和说谎者。可是上天都在嘲笑自己施与世间的一切美德，似乎只有当枯树结果才肯罢休。《诗集》，卷三，参看附件，第二章末。“枯树”指的是绿色的橡树，这是德·拉·洛威尔，即尤利乌斯二世家族的徽章图案。
尤利乌斯二世的侮辱并不是促使米开朗琪罗逃离的唯一原因。在他给基尤利奥诺·达·圣伽劳的一封信中，米开朗琪罗提到布拉曼特企图谋杀他。“这不是我离开的唯一原因，还有别的事情，我不太想说。只要一想到这件事情，我就会想到：如果我还留在罗马，这里将成为我的葬身之地，而不是教皇的坟墓。这便是我突然离开的缘由。”
米开朗琪罗离开后，布拉曼特成为了罗马唯一的主宰者。对手离开的第二天，布拉曼特便举行圣彼得大教堂的奠基仪式。1506年4月18日。面对米开朗琪罗的作品，他心中无法平息的怨恨变得更加强烈，并通过永久性地毁坏他的作品来发泄怨恨：他让人去偷窃圣彼得大教堂广场上那些为建造尤利乌斯二世陵墓而准备的大理石块。1542年10月书信。
而教皇由于被他的雕塑家米开朗琪罗的反叛行为所激怒，接二连三地写信给佛罗伦萨执政团，即米开朗琪罗藏身之处。执政团叫来米开朗琪罗，对他说：“你捉弄了教皇，就连法国国王都不敢这样做。我们不希望因为你而开罪他。所以，你应该回到罗马，我们也将让你带上必要的书信，以告诉教皇，如果你受到任何不公正待遇，我们执政团也将深感不公。”1542年10月书信。
米开朗琪罗固执己见，他还提出了条件。他要求尤利乌斯二世让他接着修建陵墓，并且希望不再在罗马而在佛罗伦萨工作。而当尤利乌斯二世正出征佩鲁贾和博洛尼亚时1508年8月底。，他要求米开朗琪罗返回罗马的命令更加严厉。米开朗琪罗想逃往土耳其，因为那里的苏丹王曾托方济各派教士邀请他到君士坦丁堡，在佩拉修建一座桥。康狄维叙述。1504年，米开朗琪罗就想前往土耳其，1519年，他与安德利诺普莱的诸侯有所来往，诸侯邀请他前往为其作画。另外，达·芬奇也曾打算前往土耳其。
而最终，他妥协了。1506年11月的最后几天，他很不乐意地来到博洛尼亚，那里尤利乌斯二世这位胜利者刚攻城进入。
一天，米开朗琪罗到圣佩特罗尼奥教堂去做弥撒，教皇的马夫看到他，认出了他，把他带到尤利乌斯二世跟前。当时尤利乌斯二世正在塞兹宫进餐。教皇大怒道：“本来应该是你到罗马来找我们，你却在这里等着我们来找你！”米开朗琪罗双膝跪立，大声请求宽恕，并解释道自己并非为戏弄对方而故意这样做，而是因为无法忍受被别人驱逐，一气之下才离开。教皇一直坐着，低着头，脸上满是怒气。这时，之前叟德瑞尼派去保护米开朗琪罗的红衣主教走上前试图平息教皇的怒气，说道：“圣主，请不要在意他的愚蠢行为，他也是无意犯错的。画家们除了艺术上各有千秋，其他方面都大同小异。”教皇顿时狂怒道：“你倒是会侮辱他，我都没有这样！无知者，是你！滚出去，见鬼去吧！”可他没有动身，教皇手下便将他拳打脚踢地赶了出去。到这时候，教皇已经把所有的怨恨都发泄在了这位红衣主教身上。他让米开朗琪罗上前来，原谅了他。康狄维叙述。
而不幸的是，要与尤利乌斯和平共处，便要忍受他那变化无常的性格，因为他那伟大的意志又改变了主意。他不再要求修建陵墓，而是一个巨大的铜像，以树立在博洛尼亚。米开朗琪罗竭力声明“自己对铸铜毫无经验”，但这也徒劳。他不得不学习这项技术，而这给他带来了极大的工作量。他在一个很差劲的房间里居住，里面只有一张床，而且与两个佛罗伦萨的助手——拉伯和罗多维克及铸铜工人贝尔纳迪诺同住。十五个月期间发生了许多不愉快的事情，米开朗琪罗因他的两个助手偷窃而与他们关系不和。
“这个混蛋拉伯，”他给父亲写道，“在外宣扬说，是他和罗多维克在做这件作品，或者只是说他们在和我合作。他脑子里以为自己是主人，直到我把他赶出去，这时他才第一次意识到他是在为我而工作。我把他当畜生一样赶出门。”1507年2月8日，写给父亲的书信。
拉伯和罗多维克到处宣扬自己的不满，而且在佛罗伦萨散布对米开朗琪罗不利的谣言，最后竟然借口米开朗琪罗的父亲偷了他们的钱而强行抢夺他父亲的钱财。
随后轮到铸铜工人，他的无能此时露馅了。
“我还以为贝尔纳迪诺师傅甚至没有火炉都能做铸铜工作，我真是白白相信他了。”
1507年6月，浇铸失败。铜像浇到腰带处就不行了。一切都得重新开始。米开朗琪罗为此一直忙碌到1508年2月。他差点因此搞垮身体。
“我几乎没有时间吃饭，”他给兄弟写道，“我的生活极其不方便，而且非常痛苦。其他我都没想，只想着没日没夜地工作。我经受了那么多的磨难，现在还是这样，我甚至想，如果要再做这样一个铜像，我的生命都耗尽也不够。这真是一个巨人的工程。”1507年9月29日到11月10日，写给兄弟的信。
可就算花费了如此多的精力，这件作品最终的命运还是很悲惨。尤利乌斯二世的铜像于1508年2月安放于圣佩特罗尼奥教堂侧面的前方，在那它只保留了四年。1511年12月，尤利乌斯二世的敌人苯迪沃格利党人将其推毁，而阿尔冯斯·黛斯特购买了残片，把它做成了一架大炮。
米开朗琪罗重回罗马。尤利乌斯二世给他添加了另一项更让他预料不到的、愈发有挑战性的任务。他让这个对壁画技术一无所知的画家绘制西斯廷天庭画。可以说，尤利乌斯二世最乐于要求他人完成不可能实现的任务，尤其喜欢让米开朗琪罗来挑战自己的极限。
这似乎是因为布拉曼特看到米开朗琪罗重新获宠，便提议让其完成这个将毁坏他荣誉的差事，将其逼到绝境。至少康狄维是这样认为的。可不管怎样，应该看到，当米开朗琪罗逃离到博洛尼亚的时候，绘制西斯廷天庭画已经被提上议程，虽然布拉曼特对此差事并不中意，但他也未想到让米开朗琪罗来做，因为当时他正竭力让自己的对手远离罗马。（1508年5月，皮耶特·罗瑟礼写给米开朗琪罗的书信。）而同年当拉斐尔无比幸运地开始在梵蒂冈宫创作Stanta组壁画时，米开朗琪罗所面临的挑战显得更加具有威胁性。在1508年4月到9月间，拉斐尔绘制了所谓的“诸侯厅”中的绘画（其中有《雅典学派》、《圣体争辩》等作品）。他竭尽全力拒绝这令人畏惧的荣誉，甚至建议让拉斐尔替代自己来创作，但没有成功。教皇坚持己见，他也只能做出让步。
布拉曼特为米开朗琪罗在西斯廷支了一个脚手架，人们从佛罗伦萨叫来几个对壁画有所建树的画家，以协助米开朗琪罗。上文已经提到，米开朗琪罗不需要任何形式的帮助。他先是宣称布拉曼特的脚手架没有任何作用，并自己重新支了一个。然后，不做任何解释就把他所厌恶的那些佛罗伦萨的画家们赶到大门外。“有天早上，他让人把自己画好的作品全部毁掉，把自己关在教堂里，不再见那些画家，甚至不在自己的家中露面。当画家们意识到自己被长时间地愚弄，感到万分屈辱，最后决定回到佛罗伦萨。”瓦萨里叙述。
米开朗琪罗单独一人和几个工人留下工作。1510年写给他父亲的信中，米开朗琪罗悲伤地向父亲讲述他的一个助手毫无用处：“只知让别人帮他……我不能对此袖手旁观，除非我还没受够！他让我像畜生般受苦。”这巨大的困难非但没有浇灭米开朗琪罗的信心和胆量，反而促使他把计划内容扩大，不仅仅在原定计划上描绘天庭，而且要画四周的墙壁。
1508年5月10日，这巨大的工程开工了。这些年是银灰色的，是米开朗琪罗整个一生中最黑暗也是最崇高的日子！它让我们看到了神话般的米开朗琪罗，一个西斯廷的英雄，他那伟大的身影应当被永久镂刻在人类记忆之中。
他忍受着无以伦比的煎熬。从那一时期的书信可以看出他当时激情过后而失望，和因无法实现自己的神圣想法而气馁的精神状态。
我处在极端的精神衰弱的状态中。我已经有一年没有得到教皇的恩赐，当然我也不会向他要求什么，因为我的工作进展不多，对我来说不值得他的赏赐。进展慢与工作的难度有关，也因为本来这就不是我的专长。于是，我在白白浪费时间。上帝救救我吧！1509年1月27日，写给父亲的书信。
他刚画完《洪水》，这部作品就开始发霉，上面的人物已经模糊不清，难以辨认。他拒绝继续作画，但教皇不能容忍他以任何的借口来停止工作。他只能重新开始。
就算他如此的辛苦，如此的忧虑不安，他的亲人们依然对他纠缠不休，令人憎恨。他整个家族都生活在他的荫护下，对他提出过分的要求，似乎要把他逼上死路。他父亲总是抱怨说自己为钱的问题寝食不安。尽管自己有着沉重的负担，米开朗琪罗还得要腾出时间安慰父亲。