桃花坞里桃花庵，桃花庵下桃花仙；桃花仙人种桃树，又摘桃花卖酒钱。
酒醒只在花前坐，酒醉还来花下眠；半醒半醉日复日，花落花开年复年。
但愿老死花酒间，不愿鞠躬车马前；车尘马足富者趣，酒盏花枝贫者缘。
若将富贵比贫贱，一在平地一在天；若将贫贱比车马，他得驱驰我得闲。
别人笑我忒疯癫，我笑别人看不穿；不见五陵豪杰墓，无花无酒锄作田。
1.夭寿不疑天，功名须壮时
返回苏州后的唐伯虎，婚也离了，新的爱人也找到了。然而为了这桩婚事，他却和朋友文徵明、弟弟唐申产生了巨大矛盾。唐伯虎之所以变化如此之大，为了沈九娘而与兄弟朋友“大动干戈”，其原因在于自己孤单寂寞憋屈的心理无法排遣，而沈九娘作为社会底层妇女，见多了世间不平事，见惯了悲哀的人间惨事，同样也尝遍了无数次被欺骗与背叛的滋味。所以，她能用自己的言语、自己的心灵理解唐伯虎。
这一点，唐伯虎的兄弟朋友根本无法做到，因为，他们没有遇到过这么多的不幸。能够给予唐伯虎的唯有理解下的顺从（如祝允明、张灵）或是力图规劝矫正（如文徵明、唐申）。然而改变唐伯虎是不可能的。文徵明这个人脾气非常好，一辈子没说过别人坏话，更坚信君子绝交不出恶语，看唐伯虎那样决绝，也不肯说他的坏话，只是不再主动答理他了。唐申呢，毕竟是兄弟，虽然失和但也时不时地让儿子长民去看望伯虎。好在唐伯虎自己卖文鬻画自在逍遥，起初，他一个人生活，便在吴趋坊巷口临街的一座小楼中居住。
在那里，他开始积极抓紧创作，目的只有一个，就是赶紧赚钱为沈九娘赎身。因为妓女要想正式嫁人必须经过老鸨的同意并赔偿她的损失费。作为妓院的摇钱树，沈九娘的赎身钱肯定不少。作为家中长子的唐伯虎，本来可以动用家里的钱，但因为兄弟的坚决反对，他也只好用自己的才华赚到这笔钱。
他和沈九娘正式成婚之后，便觉得小楼一是空间太小，二是毕竟那里对于他来说太吵，也不方便。他便决定在城北桃花坞建一个别院，这就是后来著名的桃花庵。桃花坞原是宋人章庄简的别墅，但久经风雨，早成了一片废墟。不过这个地方景色宜人，有水（一条小溪）、有树，还有一个小土丘，非常适合于半隐居的唐伯虎居住。他还为此拟定了几间屋子的名称，如“学圃堂”、“梦墨亭”、“蛱蝶斋”等。
中国的知识分子有一个特点，就是在顺风顺水的情况下，儒家思想往往占据着统治地位；失败了则会不约而同地成为道家，追求一种远离尘世的境界。再严重一些，就是隐遁或出家为僧。有人将其归结为狂、叹、谐、隐几个阶段。以祝允明、唐伯虎、文徵明、徐祯卿为首的“苏州四大才子”基本上都处在隐的阶段，就连最年轻仅活了33个春秋的徐祯卿也是如此。
桃花庵下桃花仙
弘治十八年（1505年），唐伯虎决定筹建桃花庵别院。正德二年（1507年）桃花庵建成。唐伯虎曾写了一首《桃花庵歌》大意为：桃花坞里有座桃花庵，桃花庵内有我这个桃花仙人。桃花仙人种了桃树，到得时节就摘取桃花换点酒钱。清醒的时候我在桃花前坐，酒醉的时候还到桃花树下眠。在我桃花仙人醉醉醒醒的日子里，时光快速离去。年复一年间，桃花开了又落，落了又开。我没有什么宏大志愿，宁愿自己老死在花儿与美酒间，也不在高官富人的车马前弯下自己的腰板儿。
唉！富人们以跨马飞驰、看着身后扬起的尘土为乐，因为他们认为世人在仰视他们；对于我们这些穷人来说，品尝杯杯美酒，欣赏娇美的桃花才是我们的最爱。
如果用金钱和物质来衡量，这两种人两种生活自然有着天壤之别。
但换个角度去理解，那些富贵者须得时刻绷紧神经，小心翼翼如履薄冰地过活；而所谓贫者，却能多几分闲情，多几分逸趣，反而活得更加自然真实，更加轻松和快乐。
不懂我的人笑我太疯癫，而我则笑他们看不穿这世间的世情。
你们看那些帝王将相、英雄豪杰的坟墓，如今还有几个能见到？如果他们在天有灵，只能无奈地看着自己的坟墓渐变成废墟，无花无酒被人当田地来耕作了。
当我们仔细探究这一期间他的所作所为时，会发现唐伯虎并非我们认为的那般舒服与坦然。虽然，唐伯虎也有凡买画者皆要送酒的潜规则，然而，这只是在他画作好销的时候。当全家上下饥寒交迫的时候，唐伯虎也只能徒劳地发出“不使人间造孽钱”的慨叹。
这段时期，是唐伯虎创作的高峰阶段。据能够研究出确切年代的诗书画作品推测，自正德二年（1502年）回转苏州后，唐伯虎便在卖画、游玩作诗、为他人写墓志铭赚钱生涯中度过。自弘治十五年（1502年）起他作画《送别图》（赠人）、《风木图》（赠人）、《桐荫清梦图》、《坐林溪阁》（赠人）、《江南农事》、《南游图》（赠人）、《寒林高士图》、《华山图》、《张果老像》、《千山万木图》、《兰亭图卷》、《歌风台实景图》、《王公出山图》、《关山行旅图》、《高士图》、《终南十景》、《山静日长图》、《山茶梅花图》、《溪山高逸图》、《秋林月上图》等；作诗《寄妓》、《哭妓徐素素》、《代妓者和人见寄》、《玉芝为王丽人作》、《落花诗》、《七言律诗轴》等；多次与友人游虎丘、缥缈峰、洞庭湖、齐云山、江苏沛县歌风台等。
为钱与徐祯卿发生冲突
唐伯虎娶妻沈氏之后便开始筹建桃花坞别业，尽管费了九牛二虎之力，桃花庵的工程还是没有顺利完成，有成烂尾楼的风险。不巧，此时债主们又纷纷前来讨债，万般无奈的唐伯虎只好写信向当官儿的朋友徐祯卿借款。至于这笔借款是多少，我们无法确知。但肯定不会低于当年唐伯虎借给徐祯卿那笔盘缠的额度。
借款的大概时间，我们可以推算一番：1505年徐祯卿考中进士，1507年桃花庵建成。因此，借款的行为大致发生在1506年。1506年是正德元年，那一年，不但是新皇帝正式登基，更是唐伯虎的“桃花庵”正在“兴建”之时。
说到徐祯卿这个人，可不简单，论诗才，在当时的人心目中，他是“四大才子”之首。唐伯虎的诗才在当时文豪的眼中，只能排在第三。例如清人沈德潜编选《明诗别裁集》只收录了文徵明两首诗，而徐祯卿则多达23首，唐、祝则没有。
《明诗综》在评论明代大诗人的特点时也指出，李梦阳以气势称雄，何景明以飘逸闻名，徐祯卿则以真挚的情感为人们称道。《明史》对其诗的评价则是“熔炼精警”，并称他是“吴中诗人之冠”。
徐祯卿家境极为贫寒，起先是靠着借唐伯虎好朋友刘嘉德家中藏书学习，刘死后又经常去唐伯虎家中看书，靠着借书学得五车之才，非常了不起。他成名也比唐伯虎要早，16岁写的《新倩集》使他在才子集中的江浙地区闻名。但他在官场上却屡次被贬，屡遭同僚上级排挤。
唐伯虎跟徐祯卿的关系非常，向他伸手借钱完全可以，以他们的关系徐祯卿还真应该借。更何况，在金钱上唐伯虎还帮过他一次大忙。
原来，弘治十四年（1501年）徐祯卿乡试考中，要去京城会试但没有钱，唐伯虎等朋友便出资帮助他，但可惜他在1502年的会试中失败。3年后，即弘治十八年（1505年）才再次进行会试中举。
按通常人的想法，这样的大才子，当官肯定是当大官，有才华嘛。唐伯虎向他借钱肯定会给的，但令唐伯虎没有想到的是，徐祯卿竟然说没有钱！
当读完徐祯卿不借给自己钱的回信后，唐伯虎异常愤怒。他愤愤不平：想当年，为了给徐祯卿凑进京赶考的路费，自己出力最多。不想，这家伙当了官儿后就鼻孔朝天了，一点也不念当年的旧情，真是是可忍孰不可忍。唐伯虎一怒之下不理睬徐祯卿了。
其实，唐伯虎和我们都犯了一个错误，有才华的人未必适合当官特别是大官。事实上，徐祯卿这个官当得是又累又憋屈。
因为他长得比较丑，中进士后，皇帝看了后心生厌恶，便没有按照规矩让他去翰林院做翰林。翰林院是专门起草机密诏制的机构，翰林要经常看到皇帝，皇帝也是为了眼不见心不烦，便改派他去了大理寺做了一个左侍副官。
明朝的官员工资特别低，而他又在大理寺当了个小官大理寺左寺丞副（七八品），即使他想贪，恐怕也轮不到他。更何况，虽然貌丑却心不丑的他乃是刚正廉洁的官员。
文人才子当官儿往往过于书卷气，聪明者经过几次打击后，便可以迅速融入官场；迟钝者往往屡败屡挫，至死不渝。而徐祯卿就属于后者，他虽因“文章江左家家玉，烟月扬州树树花”的诗句驰名天下，但在官场上却籍籍无名且屡次被贬，屡遭同僚上级排挤。
唐伯虎借钱的1506年，徐祯卿正处在官场生涯最倒霉的时期，他因被属吏蒙骗，稀里糊涂地放跑了一个犯人，因此被降为国子博士。可巧在这个倒霉时刻，唐伯虎写信来借钱。他怎么可能有呢？并不知内情的唐伯虎错怪了徐祯卿。而徐祯卿见几个月过去了唐伯虎也不给自己回信，自己再次去信交流诗作也不答理，心里大大地不解。无意间，通过与朋友们交谈，才得知唐伯虎对自己不借钱的行为非常不满。为此，徐祯卿连忙给唐伯虎写信告知自己的无奈。见《唐生将卜筑桃花之坞，谋家无赀，贻书见让，寄此解嘲》
予昔攀白日，虹霓干紫庭。
浮沉帝座侧，无人知岁星。
侧待公车无所欢，聊骑天马出长安。
南下苍江浮七泽，还携谢客弄波澜。
青倪中开秀庐岳，瀑布洒入千峰寒。
冥冥仙气贯南斗，直欲凌身烧大丹。
回裾西拂巫山浦，浩荡欢心间云雨。
归来欲奏楚王书，汉主上林方好武。
黄金不遇心自吁，白璧无媒翻见侮。
昨日结交燕少年，酣歌击筑市中眠。
正逢天子失颜色，夺俸经时无酒钱。
入门百结鹔鹴尽，笑立文君明镜前。
却思旧日高阳侣，黄公酒垆何处边。
天下绨袍谁不怜，郄卿未具山中橐，何人为买剡溪田。唐伯虎，真侠客。
十年与尔青云交，倾心置腹无所惜。
击我剑，拂君缨。请歌《鹦鹉篇》，为奏朱丝绳。胡为扰扰苍蝇之恶声？
我今蹭蹬尚如此，嗟尔悠悠世上名。
唐伯虎看到这封书信后，这才理解了徐祯卿当时的无奈，便回信与之和好。
咄咄张竖生
许多人对唐伯虎这么世俗非常吃惊，然而这就是真实的唐伯虎。唐伯虎确实是才子，也确实是天才，但是并不是不食人间烟火。
唐伯虎在这段时期内，仍处在“谐”的阶段，他的朋友张灵和祝允明对他的影响非常大，特别是张灵。据《吴郡丹青志张灵》记载：
张灵，字梦晋，家与唐寅为邻。两人气志雅合，茂才相敌。又俱善画，以故契深椒兰。灵画人物，冠服玄古，形色清真，无卑庸之气。山水间作，虽不由闲习，而笔生墨劲，斩然绝尘，多可尚者。灵性落魄，简绝礼文。得钱沽酒，不问生业，缪缪然有古狂士之风。为郡诸生，竟以狂废。
本来按照辈分张灵和唐伯虎应该以叔侄论。张灵拜祝允明为师，老师不像老师，学生自然不像学生。祝允明比唐伯虎大11岁，唐伯虎比张灵也大几岁。他们都是才气横溢而又玩世不恭的。三人各以兄弟相称，放浪不羁，游戏人间。张灵在酒席间作诗《对酒》。
隐隐江城玉漏催，劝君须尽掌中杯。
高楼明月笙歌夜，知是人生第几回？
此诗明显带有人生苦短不如及时行乐的观点。张灵虽然出身贫寒，但却经常流连于酒肆青楼间，丝毫不顾忌高堂的温饱冷暖。同样出身贫寒的徐祯卿为此气愤不已，劝诫他道：
咄咄张竖生，时命何迫窘；狂趋欲何之，家无斗石储，为汝戚戚复戚戚。抚畜老幼，当从何？须晨起，弗踯躅，且往探囊贷，空负文史腹，肠枯竟奚为。
从“竖生”、“空负文史腹，肠枯竟奚为”看，徐祯卿对张灵已经不是一般意义上的劝诫，而是指责甚至批判。从我们的眼光看，张灵也确实过分，然而，从道家的哲学观看，张灵却并不应受到如此批判。因为，庄子妻子亡鼓盆而歌的行为也与之类似。
唐伯虎对于张灵的行为，似乎保持着一种默许，至少在诗文上我们看不出有何批判。
三人疯癫的状况最严重的时候，据说曾在荷花池中裸体嬉戏。然而，从当时情景推断，这个大约仅是传闻，因为，祝允明裸体狂书是在家中，唐伯虎见状都为之大吃一惊。大庭广众之下，三人不可能作此惊人之举，事实上就连现代人都免为这种行为脸红，唯有所谓的行为艺术家才能偶为之。但三人在一起经常做些惊世骇俗的行为是肯定的。