回乡的梦想总是不断出现。诗人年老体衰，此时蜀中又是“群盗尚纵横”，所以杜甫还是打算离蜀北归。实际上，当时严武一走，蜀中兵乱起来，杜甫就想着离开了。在绵州时他作《悲秋》，表达了出峡的想法：
凉风动万里，群盗尚纵横。家远传书日，秋来为客情。愁窥高鸟过，老逐众人行。始欲投三峡，何由见两京？
中原未靖，诗人有家不能归。实际上，就是在城都那几年较为安定的时候，尽管他对辛苦经营起来的草堂怀有深厚的感情，但他的内心深处是不愿终老于斯的。
诗人困于梓州，想起早年游历过的吴越，又作东游之想。这一次，他真的准备启程了：“波涛不足畏，三峡徒雷吼。……终作适荆蛮，安排用庄叟。”章彝听说诗人要下峡东游，于是拿来了一捆有名的桃竹手杖，在坐的宾客见了无不赞叹，章彝挑了两根送给诗人留作纪念，诗人作诗《桃竹杖引赠章留后》表示感激。杜甫不停地忙碌着，下峡的行李船总算准备好了，章彝特意为诗人在楼上设宴饯行。宴会上来了很多客人，楼上坐不下，就在楼下设帐张席，楼上楼下，坐得满满的，觥筹交错，花红酒绿，宾主又是豪饮，又是唱歌，席间还进行赛马、比武、簸旗等军中竞技表演，好不热闹。杜甫与幕府诸公赋诗唱和，聊以话别。
梓州就在涪江边，诗人乘船沿涪江顺流而下，到了渝州就可以汇入长江，再从长江一路顺水，到达吴越。可是诗人没有这样走，他先到了阆州。嘉陵江经过阆州，从嘉陵江而下，也可以进入长江。除了梓州，惟阆州留居时间最久，与阆州王刺史比较相知，理应与他话别，同时还可以得到刺史及其幕府诸公的资助。
杜甫携全家抵达阆州时，已近第二年的春天，诗人在《岁暮》一诗中表达自己对动乱的忧虑：“岁暮远为客，边隅还用兵。烟尘犯雪岭，鼓角动江城。天地日流血，朝廷谁请缨？济时敢爱死，寂寞壮心惊。”春节到了，诗人少不了与诸公饮酒赋诗迎新年。他在《游子》一诗中说：“巴蜀愁谁语，吴门兴杳然。九江春草外，三峡暮帆前。”诗人仿佛已经看到东下的情景。
然而不久，杜甫却意外地听到严武再次被任命为东西川节度使的消息。愁闷不安的诗人仿佛又看到了希望，重新点燃起信心，振奋起来：
殊方又喜故人来，重镇还须济世才。常怪偏裨终日待，不知旌节隔年来。欲辞巴徼啼莺合，远下荆门去催。身老时危思会面，一生襟抱向谁开？
——《奉待严大夫》
应该说，诗人很了解严武，他对严武再次镇蜀充满了信心，他一直都希望朝廷能够派经验丰富、沉着果断的大臣来安定巴蜀，恢复秩序，所以像严武这样的“济世才”出来，蜀中的形势一定会很快好转。事实上也像杜甫预料的，这年严武率领蜀军大破吐蕃七万余众，拔当狗城，十月，又取盐川城，成功地遏制了吐蕃的进犯，稳定了巴蜀的形势，严武由此加检校吏部尚书，封郑国公。
杜甫收到邀请，携全家匆匆赶回成都。将回草堂，诗人的心情很激动，一路上抑制不住兴奋，随着自己油然而起的诗兴，写下了《将赴成都草堂途中有作先寄严郑公五首》寄给严武。赶了近五百里路，诗人终于又回到熟悉的草堂。
六月，严武表荐杜甫为节度参谋、检校工部员外郎、赐绯鱼袋。这是杜甫一生中得到的最高的官阶。既任幕府，物质上可以得到帮助，杜甫对此很感激。尽管诗人晚年并不想出来做官，但接受此职，多少还得到衙门里去办公。
这一来，诗人要忙碌一些了。严武再次镇蜀，主要为了加强对吐蕃的防御，作为幕僚，杜甫作《东南两川说》，向严武提出了抵御吐蕃的建议和看法。严武到蜀之后，积极练兵，“公来练猛士，欲夺天边城。”军中的大旗做好了，幕僚们随同严武一同在堂上看士兵练武、骑士试旗。堂上诸公正襟危坐，神情严肃，堂下将士们一色崭新戎装，队列整齐，雄姿焕发，精神抖擞地进入广场。紧接着，鲜艳的大旗在六名骑兵的护卫下入场，战旗挥舞，呼呼地发出声响，大旗回旋起来就像飞盖一样形成了圆圈，旗上的装饰在阳光照耀下就像流星飞迸。大旗飞卷，风驰电掣，势如排山倒海。再看马上挥旗手，左右挥舞，却是那样轻松自如。在场的将士们看了无不为之振奋鼓舞。诗人也特意写了《扬旗》一诗，表现场上壮观的情景。
很快，严武亲自部署，反击吐蕃，他任命崔旰为汉州刺史，使其将兵进攻占领西山一带的吐蕃军队，崔旰率领部队奋勇作战，连连夺得好几个城镇，一下子击退敌军数百里。严武闻讯，作诗《军城早秋》：“昨夜秋风入汉关，朔云边月满西山。更催飞将追骄虏，莫遣沙场匹马还。”杜甫随即和诗一首《奉和严郑公军城早秋》：“秋风袅袅动高旌，玉帐分弓射虏营。已收滴博云间戍，欲夺蓬婆雪外城。”“滴博”即维州之“的博岭”，“蓬婆”即大雪山。作为幕府，杜甫还陪同严武泛舟、于北池临眺，并且赋诗唱和，吟咏松竹等。
但入幕后，杜甫的心情有时还是颇为沉重。
诗人多感不适应，于是写诗《遣闷奉呈严公二十韵》给严武，称自己闲散惯了，还是不适应在幕中，还是让我回到草堂吧。“白水渔竿客，清秋鹤发翁。胡为来幕下？只合在舟中。”
半年后他辞去幕僚，回草堂去了。第二年，即永泰元年（765）四月，严武卒，巴蜀对于杜甫失去了意义。草堂虽好，失去依靠的诗人对此也无所依恋，他决计携家离开成都。严武卒、离草堂这两件事，杜集中都没有留下相关的诗作，诗人只吟唱道：
五载客蜀郡，一年居梓州。如何关塞阻，转作潇湘游？世事已黄发，残生随白鸥。安危大臣在，何必泪长流！
——《去蜀》
中原一带关塞阻隔，无法回到长安，只好先往潇湘，潇湘即荆楚一带。世事哪里还用得着我这样衰老的诗人去关心呢？不都有那些朝中重臣在吗？我还是像白鸥一样自在飞翔，漂泊江湖，以度余生。
诗人无可奈何地离开了巴蜀。
十、东下荆楚
杜甫从成都坐木船南到嘉州（今四川乐山），再到戎州（今宜宾），到渝州（今重庆）和忠州（今忠县）一带时，他写了一首五律《旅夜书怀》：
细草微风岸，危樯独夜舟；星垂平野阔，月涌大江流。名岂文章著？官应老病休；飘飘何所似？天地一沙鸥。
起二句写客夜舟泊所见的近景，先写地，后写人。三、四句写远景，极为雄浑，和李白《度荆门送别》里的“山随平野尽，江入大荒流”并美，而“垂”、“涌”二字精练无比。五、六两句是悲愤语，“官应老病休”是有为房事而罢官的苦闷之感。末尾用“沙鸥”自譬，以抒发他的功名无成、漂泊流离之感。这诗自然表现了杜甫的叹老嗟卑，但也见得当时士人在政治上的无所归向，当时的社会是极为黑暗的。
杜甫在云安（属夔州，今云阳）住了下来，因为他病了。在这里停留了半年多，写了有名的《三绝句》，反映军阀作乱和羌浑侵扰的社会混乱现象；又写了《杜鹃》一诗讽刺逆乱的臣子，表现了他的忠于皇帝。
大历元年（公元766年）的春末，杜甫到夔州后，便定居了下来。几次登上白帝城楼，写下了《白帝城最高楼》等奇险的诗。他又去游览了夔州西郊的武侯庙和永安宫南的八阵图，写了《武侯庙》和《八阵图》两首著名的五言绝句。他还有《古柏行》描写武侯庙前的柏树说：
孔明庙前有古柏，柯如青铜根如石。霜皮溜雨四十围，黛色参天二千尺。……云来气接巫峡长，月出寒通雪山白。
古柏树的高大森郁是被鲜明地表现出来了，这是杜甫对于诸葛亮为人的侧写，使那“大名垂宇宙”的人物栩栩如在眼前。这当然也是他借以自喻，从结语“志士幽人莫怨嗟，古来材大难为用”可以看出。
杜甫在夔州住了将近两年，他在那里写了一些反映当地人民风俗和生活情况的诗，这些是他晚期作品中最可贵的部分。如《负薪行》写夔州妇女的悲惨命运，由于当时的战乱，男丁减少，年老还不得出嫁，而那里的风俗极端重男轻女，女人担任劳役，如负薪、盐等重物，男子却居家中。
杜甫在夔州也关怀国事，他有诗句说：“勋业频看镜，行藏独倚楼，时危思报主，衰谢不能休。”又说：“秦中驿使无消息，蜀道兵戈有是非，……莫愁剑阁终堪据，闻道松州已被围。”他还以十分强烈的感情写过：
不眠忧战伐，无力正乾坤！
——《宿江边阁》
这种思想感情，在杜甫诗中是始终贯串着的。虽然有些悲愤，但壮志却无已时。
他在夔州写过几篇组诗和长诗，如《诸将五首》，写吐蕃入关掘发唐朝帝王的坟墓：“昨日玉鱼蒙葬地，早时金出人间。”叮咛诸将：“多少材官守泾渭，将军且莫破愁颜！”又写回纥作乱，责备诸将说：“独使至尊忧社稷，诸君何以答升平？”《秋兴八首》是七言律诗，写尽了夔州的朝景、暮景，怀念长安的王侯第宅、宫阙、曲江、昆明池、陂等，但写得很伤感。试举第六首：
瞿塘峡口曲江头，万里风烟接素秋，花萼夹城通御气，芙蓉小苑入边愁。珠帘绣柱围黄鹄，锦缆牙樯起白鸥，回首可怜歌舞地，秦中自古帝王州。
杜甫在夔州的某些作品十分重视艺术性如声韵、词语和兴象等等，而诗的思想性便相对地减弱了一些。比如《见萤火》一首七律，写物逼真，可是结句只说：“沧江白发愁看汝，来岁如今归未归？”思想内容就不够丰富和深入。又如长篇排律《秋日夔府咏怀奉寄郑监李宾客一百韵》，凡一千字，叙写他在夔州所见和自己的生活情况以及长安时局等，诗的结构完整，而又多变化，但是内容不如以往《奉先咏怀》和《北征》远甚。这里我们还要介绍一下他的那首著名的《登高》：
风急天高猿啸哀，渚清沙白鸟飞回，无边落木萧萧下，不尽长江滚滚来。万里悲秋常作客，百年多病独登台，艰难苦恨繁霜鬓，潦倒新停浊酒杯。
这是杜甫长期流浪、贫病交加心情恶劣的表现，由此可以想见诗人在当时是如何地穷愁潦倒。使他时时“苦恨”和“霜鬓”日“繁”的，并不只是由于“悲愁”和“多病”，久客的艰苦备尝更是一个重要的原因。结句是说本可借酒浇愁的，但又刚刚因患病而戒了酒，则其愁愈甚。这诗的艺术性高：形象性强、语言精炼、对仗工巧，特别是三、四两句气势悲壮，是写景又是写诗人的心胸，是四联对偶句中最出色的一联。过去有人称这诗“高浑一气，古今独步，当为杜集七言律诗第一”，甚至说是“古今七言律第一”。然而它所表现的只是个人的生活和伤感，从这首诗的基调看来，不是昂扬的而是悲抑的。
杜甫在夔州住过的地方有客堂、西阁、东屯、赤甲和西。住到岁末，杜甫更由公安出发南行，到岳州（今湖南岳阳）去，他感慨不知何时才能停足安居。船过刘郎浦（今湖北石首西北），他说是“岸上空村尽豺虎”，足见当地的多乱和荒凉。
到岳州后，他写了《岁宴行》，反映了米贱伤农、贫民卖儿女缴租税的悲惨境况：“去年米贵阙军食，今年米贱大伤农，高马达官厌酒肉，此辈（农民、渔民及少数民族的猎人）杼柚茅茨空。……况闻处处鬻男女，割慈忍爱还租庸。”这种境况的形成，和当时的战乱有很大关系。因此，当他登上城西门楼，更写了一首非常凝练的五言律诗《登岳阳楼》：
昔闻洞庭水，今上岳阳楼。吴楚东南坼，乾坤日夜浮。亲朋无一字，老病有孤舟。戎马关山北，凭轩涕泗流。
大历四年（公元769年）春，杜甫继续南行，入洞庭湖，到衡州（今湖南衡阳）去依托他年青时在郇瑕（蒲州猗氏县，今山西临猗南）认识的旧友湖南都团练观察使、衡州刺史韦之晋。
杜甫到衡州时，却遇韦之晋调潭州（今长沙）刺史，湖南军徙潭州。杜甫又回到潭州。韦之晋不久死去，杜甫写了《哭韦大夫之晋》诗。
十一、病逝扁舟
大历四年（769）正月，杜甫过洞庭湖，沿湘江南下，三月抵达潭州（今湖南长沙），又至衡州（今湖南衡阳）。杜甫本想去投奔任衡州刺史的友人韦之晋，可是当他到达那里时，韦之晋已经调任潭州刺史，杜甫一家在衡州举目无亲，只好折回潭州，可是更没有想到韦之晋已在潭州病卒。从夏至冬，杜甫一家只好一直住在停泊在潭州的一叶扁舟之中。其《江汉》一诗写出了漂泊中的愁苦之状及思归之情，诗曰：
江汉思归客，乾坤一腐儒。片云天共远，永夜月同孤。落日心犹壮，秋风病欲苏。古来存老马，不必取长途。
末两句谓古人存老马，并非因为它能奔走长途。诗人自觉虽然年老，不能驰骋，却当有他用。诗人境遇虽然如此，但内心中隐然还有一股豪气与倔强。
杜甫漂泊江湘一带时，境遇很差，病魔缠身，这使他更想念北方，梦归故园。他自离开长安之后，对京城的眷恋可谓至死不渝：
佳辰强饮食犹寒，隐几萧条戴冠。春水船如天上坐，老年花似雾中看。娟娟戏蝶过闲幔，片片轻鸥下急湍。云白山青万余里，愁看直北是长安。
——《小寒食舟中作》
杜甫在潭州结识了韦迢、苏涣等人。韦迢新任韶州（治在今广东韶关西南）刺史，赴任途中经过潭州，苏涣应湖南观察使崔之召而来潭州。苏涣此人极富有传奇色彩，少年时喜剽盗，擅长于白色弩弓，巴蜀一带的商人都怕他，称他为“白跖”。但后来他折节读书，不几年竟然进士及第，累迁侍御史。他是诗人，曾作《变律》十九首，长于讽刺，人以为有陈子昂的一鳞半爪。韦迢、苏涣都会写诗，对老诗人也相当敬重，彼此都有诗歌往来，但他们没办法给予诗人的生活以很大的帮助，诗人一家常常忍饥挨饿。