杜甫全家平安返回成都草堂。他便写《草堂》诗：“旧犬喜我归，低徊入衣裾。邻里喜我归，沽酒携葫芦。大官喜我来，遣骑问所须。”严武派人来问寒问暖，邻里携酒来接风洗尘。
杜甫修葺草堂，新凿水井，开引水小渠，整修树木，草堂内外，又溢满了生机。杜甫走访邻朱山人、王县今依然健在，北邻斛斯融已去世。另一位朋友王契来看望，并邀请到他在灌口（属今四川灌县）的家中去做客，杜甫便欣然而往。在灌口住了十多天之后又一同回成都重游了先主庙、琴台等古迹名胜。在游览先主庙、武侯祠、后主祠后，杜甫登临成都西门城楼时，写了《登楼》诗：
花近高楼伤客心，万方多难此登临。锦江春色来天地，玉垒浮云变古今。北极朝廷终不改，西山寇盗莫相侵。
可怜后主还祠庙，日暮聊为《梁父吟》。
《登楼》诗中，诗人因万方多难，见花反而伤心。
自然永远是自然，锦江上的春色依然铺天盖地而来，玉垒上的浮云从古至今总是变幻莫测，自然不能理解诗人的感情，当然也不会因国家多难而失却自然的本质，人间事为什么不能像自然那样将和平与公正运作永恒的存在？刘禅本是昏庸的国君，但人们因敬重诸葛亮，还是给这个昏君立了祠庙。唐代宗虽未亡国，却不用贤能之士，致使吐蕃入寇，国难深沉，然而人们心中存有祖国的统一，依旧尊奉朝廷。何能再有诸葛亮，辅主兴邦啊！
杜甫不禁吟诵起诸葛亮生前特别喜欢吟哦的《梁父吟》。
杜甫重归草堂，正是暮春时节。虽忧国事，但对严武的御敌安蜀满怀信心，写轻松优美的小诗《绝句二首》：
其一写景秀丽，出语自然，四景分咏，却又融成一派春色。
迟日江山丽，春风花草香。泥融飞燕子，沙暖睡鸳鸯。江碧鸟逾白，山青花欲燃。令春看又过，何日是归年？
其二色彩鲜明，反差强烈，抒春尽思旧之情，亦能感人。
广德二年（764年）六月，在严武上表朝廷后，朝廷任命杜甫为节度使署中参谋、检校工部员外郎，赐绯鱼袋。因此之故，后人喜欢敬称杜甫为杜工部。
严武是在吐蕃攻陷松州（四川松潘）、维州（四川理县北）、保州（理县西南）之后前来镇蜀的，首要职责是收复失地。严武整顿军队，换用新旗，准备出师，反击吐蕃。身在幕府的杜甫作《东西两川说》，向严武积极献策。杜甫认为松、维、保“三城失守，罪在职司，非兵之过也”；认为当地邛雅子弟兵没有兵马使，因此归心于他们的世袭刺史（即土司），建议尽快任命指挥官，以便统一军事指挥。他还对当时蜀中流民现象作分析、提建议说：“蜀之土肥，无耕之地，流冗之辈，近者交互其乡村而已，远者漂寓诸州县而已，实不离蜀也，大抵只与兼并豪家力田耳。但均亩薄敛，则田不荒，以此上供王命，下安疲人可矣。”这意见中肯，透出诗人的良好政治才干，特别是“均亩”思想，更难能而可贵。
严武七月，率兵西征，亲临前线。严武不仅善长军事，也能写诗，他的《军城早秋》一诗：
昨夜秋风入汉关，朔云边月满西山。更催飞将追骄虏，莫造沙场匹马还。
杜甫收到此诗后，和诗一首《奉和严郑公军城早秋》：
秋风袅袅动高旌，玉帐分弓射虏营。已收滴博云间成，欲夺蓬婆雪外城。
希望严武乘胜直追，收复失地。九月，严武打败吐蕃兵马七万，收复了当狗城（四川理县东南），收复了盐川城（甘肃漳县西），并命令汉州刺史崔吁在西山防守，阻扼吐蕃。
严武凯旋归来，常同杜甫观赏吟咏之乐，他们同在北池临眺、饮宴：“北池云水阁，华馆辟秋风。”（《陪郑公秋晚北池临眺》）同在摩河池泛舟：“湍驶风醒酒，船回雾起堤。”（《晚秋陪严郑公摩诃池泛舟得溪字》）严武请名手在厅堂粉壁画了一幅《岷山沱江图》，杜甫赋诗（《奉观严郑公厅事岷山沱江画图》）赞美：“沦水流中座，岷山到北堂。白波吹粉壁，青嶂插雕梁……”可见严武在幕府中待诗人不薄。唐朝的幕府有严格的制度，清早入府办公，夜晚才能出府。杜甫家住西郊，离幕府远，只得一人住在府中。一天他值夜，耳听着夜半的号角，眼看着当空的月亮，不禁写下《宿府》一诗：
清秋幕府井梧寒，独宿江城蜡炬残。永夜角声悲自语，中夜月色好谁看？风尘荏苒音书绝，关塞萧条行路难。已忍伶俜十年事，经移栖息一枝安。
此诗说明，幕府生活并不好过，孤寂、枯燥的时光让他回想起的是往昔苦难的生活。
就在这年，由将军削为“庶人”的曹霸，也流落到了成都。曹霸是魏武帝曹操的后裔，是盛唐时代一位名声很高的画家，他曾被唐玄宗召到南熏殿，重摹开国功臣的画像，又曾为玄宗的骏马写生，官至左武卫将军。
他的经历跟杜甫当年献三大礼赋、玄宗命其待制集贤院相似，二人如今都流落成都，相见之后，杜甫心中涌起无限的今昔盛衰之感。便写了《丹青引赠曹将军霸》：
“将军魏武之子孙，于今为庶为清门。英雄割据虽已矣，文采风流今尚存。学书初学卫夫人，但恨无过王右军，丹青不知老将至，富贵于我如浮云。开元之中常引见，承恩数上南熏殿。凌烟功臣少颜色，将军下笔开生面。良相头上进贤冠，猛将腰间大羽箭。褒公鄂公毛发动，英姿飒爽来酣战。先帝天马玉花骢，画工如山貌不同。是日牵来赤墀下，迥立阊阖生长风。诏谓将军拂绢素，意匠惨淡经营中。须臾九重真龙出，一洗万古凡马空。玉花却在御榻上，榻上庭前屹相向。至尊含笑催赐金，圉人太仆皆惆怅。弟子韩幹早入室，亦能画马穷殊相。钟惟画肉不画骨，忍使骅鸡气凋丧。将军善画盖有神，偶逢佳士亦写真。即今飘泊干戈际，屡貌寻常行路人。途穷反遭俗眼白，世上未有如公贫。但看古来盛名下，终日坎壞缠其身。”
此诗起笔洗练，苍凉。称颂曹操的英雄业绩、文章辞采和曹霸不慕荣利潜心绘画艺术的高尚精神。篇中以浓墨重笔渲染了曹霸杰出的艺术才华和绘画成就，把我们带进了曹霸的艺术世界。杜甫是为曹霸鸣不平，为古往今来杰出却困顿的艺术家们鸣不平，抒发着自己命运多舛的愤激之情。此诗章法曲尽错综之妙，气势也很奔放，是杜甫晚年一篇歌行体的力作。
杜甫以垂老之年人幕府，于严武“累年在蜀，肆志逞欲，恣行猛政，穷极奢靡，赏赐无度”（钱谦益语）的情况便有了切实的接触。杜甫一个既忠于友情，又不徇私情的人，出于多种考虑，他选择了辞去官职，返归草堂的君子自重的道路。永泰元年（765年）正月，杜甫在过了半年幕府生活之后，终于又回到了草堂。严武这年四月突然病逝，杜甫失去了可靠的好友，认为不能再在草堂住下去。
杜甫永泰元年（765年）初夏，把成都草堂留给杜占，自己带着妻子儿女乘船东下。他便写《去蜀》诗：
五载客蜀郡，一年居梓州。如何关塞阻，转作潇湖游。
世事已黄发，残生随白鸥。安危大臣在，何必泪长流。
回想往昔这是杜甫无可奈何的反语，说明他总是把个人的命运跟国家的安危紧密相连。
杜甫一家沿岷江东下，来到嘉州（今四川乐山），这里有他的一位堂兄，两家人相聚，住了几日，杜甫一家又继续乘船而下。五月中旬，过青溪驿；不久，到达渝州（四川重庆），为等一位朋友，便在渝州呆了一段时间。朋友没来，杜甫一家先行，来到忠州（四川忠县），并在忠州住了两个多月。杜甫游览缅怀大禹治水的功绩。
写了一首《禹庙》诗，杜甫忠州启程，沿江顺流而下，途中作《旅夜抒怀》：
细草微风岸，危樯独夜舟。星垂平野阔，月涌大江流。
名岂文章著，官应老病休。飘飘何所似？天地一沙鸥。
杜甫行至云安（四川云阳），因肺病和风痹病发作，暂住在严县令的水阁，约有半年时间。在此期间，朝廷派郭英又任西川节度使兼成都尹。郭在成都骄奢暴戾，士兵怨恨。他率兵攻击西山兵马使崔旰，反被打得大败。
崔吁以郭反叛为名，袭击成都，杀净郭的全家，郭也被普州刺史韩澄杀掉。于是，蜀中大乱，交通阻塞，商旅断绝。杜甫便写了《客居》诗：‘安得覆八溟，为君洗乾坤？”表现了他不老的雄心和愿为国家安定有所作为的愿望。
杜甫大历元年（766年）春末，一家从云安来到夔州。
夔州属山南东道，设有都督府，州治在鱼复浦和西陵峡之间，瞿塘峡附近，与白帝城相连。杜甫一家舍舟登陆，暂居西阁。西阁在山上，前临大江，后倚山崖，是一栋层轩高楼。登楼所见，风景壮美，杜甫便写了《不离西阁二首》：
江云飘素练，石壁断空青。沧海先迎日，银河倒列星。（《不离西阁二首》）：
还写“草阁柴扉星散居，浪翻江黑雨飞初。山禽引子哺红果，溪女得钱留白鱼。”（《解闷十二首》其一）诗。
杜甫多次登临白帝城，留下了不少吟咏白帝城。这些诗篇中的警句为白帝城描绘出一幅幅传神的画面，并写了：
“城峻随天壁，楼高望女墙。江流思夏后，风至忆襄王。”（《上白帝城》）诗：
“江城含变态，一上一回新。天欲今朝雨，山归万古春。”（《上白帝城二首》其一）杜甫还写了《白帝城最高楼》：
“城尖径昃旌旆愁，独立缥缈之飞楼。峡坼云霾龙虎卧，江清日抱鼋鼍游。扶桑西枝对断石，弱水东影随长流。杖藜叹世者谁子？泣血迸空回白头。”
杜甫因为忧时叹世，更加景慕诸葛亮。他特意观看了诸葛亮留下的八阵图，并作诗《八阵图》：
功盖三分国，名成八阵图。江流石不转，遗恨失吞吴。
杜甫因观八阵图，以诗向自己心目中的英雄致以歌颂，也为诸葛亮没能完成统一大业而深致惋叹。
杜甫这一时期，咏史抒怀的力作是《咏怀古迹五首》。
三峡夔州一带，多有宋玉、王昭君、刘备、诸葛亮、庾信等人遗迹，杜甫咏怀古迹，同时凭吊先人，也抒写自己的身世家国之感。《咏怀古迹五首》一以庾信自况：“支离东北风尘际，漂泊西南夫地间。三峡楼台淹日月，五溪衣服共云山。羯胡事主终无赖，词客哀时且未还。庾信平生最萧瑟，暮年诗赋动江关。”
二缅怀宋玉：摇落深知宋玉悲，风流儒雅亦吾师。
怅望千秋一洒泪，萧条异代不同时。江山故宅空文藻，云雨荒台岂梦思？最是楚宫俱泯灭，舟人指点到今疑。
三写王昭君：群山万壑赴荆门，生长明妃尚有村。
一去紫台连朔漠，独留青家向黄昏。画图省识春风面，环佩空归月夜魂。千载琵琶作胡语，分明怨恨曲中论。
四写永安宫、追怀刘备：蜀主窥吴幸三峡，崩年亦在永安宫。翠华想像空山里，玉殿虚无野寺中。古庙杉松巢水鹤，岁时伏腊走村翁。武侯祠屋长邻近，一体君臣祭祀同。
五咏怀诸葛亮：诸葛大名垂宇宙，宗巨遗像肃清高。
三分割据纡筹策，万古云霄一羽毛。伯仲之间见伊吕，指挥若定失萧曹。运移汉作终难复，志决身歼军务劳。
杜甫这五首诗作为组诗，不单咏怀古迹，而且深寓了他的身世之慨。
杜甫在这时期，除了写《咏怀古迹五首》一类咏史抒怀的作品外，把目光落在现实政治上，写了《诸将五首》。指责朝廷的大将不能完成保卫国家的使命，当吐蕃入侵时，不能御敌；当回纥入侵时，不能替君主分忧；不屯田自给，徒然加重人民负担；不支持中央财政，反拥兵自重。在这组诗中，如“汉朝陵墓对南山，胡虏千秋尚入关”；“洛阳宫殿化为烽，体道秦关百二重”；“回首扶桑铜柱标，冥冥氛祲未全消”；“锦江春色逐人来”；“巫峡清秋万壑来”等等诗句，表现了杜甫对国家命运，人民遭遇的深沉的忧虑、关注。
杜甫在这一时期，回顾长安往事，写下了《洞房》、《宿昔》、《能画》、《斗鸡》、《历历》、《洛阳》、《骊山》、《提封》等诗篇如《斗鸡》：
斗鸡初赐锦，舞马即登床。帘下宫人出，楼前御曲长。
仙游终一閟，女乐久无香。寂寞骊山道，清秋草木黄。
此诗寄寓了杜甫深刻的批判精神，以含蓄蕴藉的手法表现着他明确的思想。
杜甫此时，也回忆自己的往事，他的《壮游》诗从7岁学诗写起，一直写到客居巴蜀，是一篇完整的诗的自传；《昔游》和《遣怀》则叙述自己当年与李白、高适的梁宋之游。他在总结自己往日的经历，抒发着胸中抑郁的志意，他并不消沉，更没停下手中的诗笔，他的创造力仿佛更旺盛。他写出了沉实高华蝉联的《秋兴八首》。大型组诗从不同角度描绘景物，抒发感情，有千门万户之妙，无重床架屋之弊，语言精美，音韵铿锵。
如：一、玉露凋伤枫树林，巫山巫峡气萧森。江问波浪兼天涌，塞上风云接地阴。丛菊两开他日泪，孤舟一系故园心。寒衣处处催刀尺，白帝城高急暮砧。
二、夔州孤城落日斜，每依北斗望京华。听猿实下三声泪，奉使应随八月搓。画省香炉违伏枕，山楼粉堞隐悲笳。请看石上藤萝月，已映洲前芦荻花。
三、千家山郭静朝晖，日日江楼坐翠微。信宿渔人还泛泛，清秋燕子故飞飞。匡衡抗疏功名薄，刘向传经心事违。同学少年多不贱，五陵衣马自轻肥。
四、闻道长安似弈棋，百年世事不胜悲。王侯第宅皆新主，文武衣冠异昔时。直北关山金鼓震，征西车马羽书驰。鱼龙寂寞秋江冷，故国平居有所思。
五、蓬莱宫阙对南山，承露金茎霄汉间。西望瑶池降王母，东来紫气满函关。云移雉尾开宫扇，日绕龙鳞识圣颜。一卧沧江惊岁晚，几回青琐点朝班。