此前，大上皇（玄宗）早已迴鑾，人居南內西宮。可是他那寶貝皇帝兒子（李亨）一點也不孝順，聽信寵妃張良嬸和內好李輔國的讒言離間，常給這位號稱大上皇帝李隆基受閒氣，而他本人卻比當年李隆基當皇帝時更愛享受。並且任用好邪，放任一切親貴大興土木，建造宮室園林，當時渭之木夭，窮奢極欲，無所不至，鬧得府藏空虛，元氣大傷，民間越發窮困，國防也更空虛。日常只是徵兵徵役，到處騷然，一片凋零景象。杜甫自看不慣，先後連上幾次奏章，均未答理，本已無心在朝，加上受人排擠，越發呆不下去。不久便由左拾遺外放出爲華州司功，路過咸陽時，想起當地還有兩個老友，便往訪看，住了兩天，然後起身。因想由當地到華州、洛陽一帶親友甚多，難得見面，正好藉此機會就便前往一敘，於是先往陝州走去。
這日行至澠池縣東的新安縣，忽見路上有許多人奔馳喊叫，口出怨言，均說關輔點兵，見人就抓，如被撞上，休想脫身。
杜甫見內中還有一個縣吏，手持長鞭，帶了幾個差役，朝衆人亂打亂罵，猛想起當年在咸陽橋上所見抓壯丁的光景，一時激動義憤，忙把那縣吏拉住，間他何事這樣喧譁吵鬧！
縣吏答說：“現在國家正在徵兵到河陽去戍邊，怎奈新安小縣人少，徵不出那麼多的壯丁。昨晚奉到府帖，沒有壯丁便把中男充數。（唐制：人有丁、中、黃、小之分，二十一歲以上成丁。大寶三載，令民十八以上爲中男。多半體弱瘦矮，難應戰陣。）但是年荒歲歉，百姓們難得吃飽，中男體力不強，又難入選，偏又無法交差，只得帶了差役挨家查問，抓着一個是一個，撞撞運氣。”
杜甫見他身後用繩索捆繫着幾十個鄉農，年紀大小不等，全都身瘦體弱，面有菜色，有心勸他放掉幾個，想了想，知道這類人和虎狼一樣，沒有人心，說也沒用，只得罷了。
跟着又往前走，到一個地方，天氣漸漸暗了下來，恐怕錯過宿頭，因聽人說，前面不遠便是石壕鎮，當地在陝州城東，相隔並不多遠，想往鎮中借宿一宵，明早起身去往城東訪友，往前走了十來裏，到一小村，地名石壕村。村中人家不多，滿地荒涼，最後尋到一家姓王的老漢，家中夫妻二人，光景窮苦，對人卻甚善良，問知長安來的遠客，忙請到裏面，燒水敬茶，甚是殷勤。
杜甫剛把來意說明，王老漢道：“這幾天很亂，關輔差役到處捉人，鬧得我們百姓日夜不安，尊客夜來只管安睡，如聽有什麼響動不要理它，明天一早各自上路，以免受了虛驚惡氣。”隨將燈點上，端來飯食請客。杜甫剛把飯吃完，正在談問年景和民間近來所受疾苦，忽聽左右鄰同時哭喊吵鬧。跟着便有一個鄰人叩門相告，說：“捉人的來了，要王老漢藏去，以免被他們抓去。”話未說完，王老漢匆匆站起，對老婆說：“今天來勢更急，決逃不脫，我只好翻牆逃走，如有官差前來，你放和氣一點，不要驚動客人。”說罷，便往房後奔去。
跟着，前後門都有人在拍打，並還厲聲喝罵。王老婆苦笑道：“我看看去，這畜生莫要把我的房拆了。”說罷，也往後面趕去。
跟着便聽後面有人跳腳辱罵和王老婆哀聲哭告。杜甫忍耐不住，悄悄往後面走了幾步，側耳一聽，原來捉人吏役業已破門而入，厲聲怒罵，非要交出人來，去往河陽應役不可。
王老婆跪地哭喊道：“我只有老夫妻兩個，我老漢業已被你們嚇破了膽，方纔剛一打門就跑掉了。本來還有三個兒子，昨天接到一封信，內中兩個業已戰死沙場，剩下一個也受了傷。家中只有一個剛生下的孫兒，他娘倒頗有點力氣！無奈身上衣裙全部賣光！如今光着身子不能見人，因此沒有出來見你。一定要人，我老婆子雖然年已七十八歲，體弱力衰，但是軍中燒個飯淘個米做點雜事還勉強可做。你實在不放，把我帶去應個數，今夜就可以跟你走了。”說時，一面還是悲哭哽咽不止。再隔一會，耳聽後面門響，底下便沒有語聲。只有老婆子悲哭之聲，彷彿還在哽咽。
杜甫覺着可憐，把身帶散碎銀錢取了一些放在桌上。看外面天色已明，到處雞聲報曉，便開門走出。想起前事，正在搖頭嘆氣，忽見旁邊草垛後有人影一閃，忙走過去一看，見草垛裏冒起一個人頭，不由嚇了一跳，耳聽喊道：“尊客吃點東西再走，天還早呢。”定神一看，正是那個王老漢，頂着一頭亂於草，由草堆裏鑽了出來，說什麼也要杜甫進點飲食纔可上路。杜甫無法，只得由他拉到裏面，王老漢見桌上留有銀錢，定要還給杜甫，堅不肯收。又去後面準備湯水食物，強迫杜甫洗漱飲食，然後親送出去。陪着走了七八里，再三說明路徑，方始握手，殷殷話別，分手回去。
杜甫別了王老漢，走不多遠，忽聽前面有婦人哭聲傳來，與昨晚所聞悲咽之聲相似，心疑王老漢之妻出了變故，忙趕過去。見前面道旁圍着好些人，過去一看，一個老太婆臥在地上哭喊不已，旁邊有一老漢正在勸她，四外旁觀的人都在搖頭嘆氣，說：“這一雙老年夫婦太可憐了。”
杜甫把內中一個老頭拉到旁邊，問是何事，老頭說：“這一雙老夫婦姓馮，男的年已八十多，由十三歲便被官差抓去當兵，多年未回。去年冬天，我軍大舉圍攻螂城，連經好幾月也沒把城攻下。賊將史思明又帶領大隊賊兵前來對敵。每天都派賊兵到處燒殺搶劫。到了今年三月底邊，兩軍在安陽一場大戰，勝敗還沒見分曉，忽然天色陰晦，颳起大風，白天對面不能見人，兩軍全都潰退下來。官軍往南潰竄，賊兵往北潰竄，宮軍眼看全軍覆沒，幸而朔方軍節度使郭子儀帶領大隊人馬來援，把河陽橋拆斷，保衛東京，以免賊兵乘虛侵入，才得無事。另築南北二城，以當來勢，這才轉危爲安。馮老頭名叫馮安，就因這場敗仗潰逃回來。到家一看，全村百多戶人家業已死亡逃散殆盡，他本人也無家可歸，有一個病了五年的老母已被土牆壓死，到處牆倒屋塌，殘破不堪，走遍全村，才找到兩戶人家，都是寡婦。雙方本來相識，又當春耕之際，約好一同下田耕種，不料縣吏走來，一見有人，強要他們充軍應役。”
馮安說：“我已在軍中苦熬了數十年，如今鬚髮皆白，年老力衰，能幹什麼？”
縣吏說：“你們年老力弱，不能打仗，也不勉強，可跟我去練打鼓，做點雜事，難道這還不行麼？”
馮安無法，勉強答應。回到家裏和老婆一說，想起自己有好幾個兒孫，都因徵兵抓走，陣亡在外面，如今自己敗陣逃回，縣吏又來強迫應役，越想越難受，夫妻二人抱着痛哭了兩天，無計可施。最後還是去學打鼓，剛學三天，便命從軍上陣，費了好些口舌，才得告了半天假，回家與老妻話別。
馮老婆知丈夫此行兇多吉少，想起天寒衣單，越發憂急，臥地大哭，拉着馮安的手哭道：“人的身體要緊，不管多苦，每天吃飯必須吃飽，最好每頓加半碗，免我擔心。”說到傷心之處，二人眼裏都哭出了血水。
衆人知道馮安此去更無還鄉之日，馮妻還在擔心怕他受寒，勸他努力加餐，光景甚是悽慘。衆人全都心軟難過，看不下去，有好幾人也流下淚來。
杜甫聽了甚是難過，再往這些人身上一看，都是衣不蔽體，一身破爛，面黃肌瘦，看去均頗衰弱。再一打聽，才知由當地到洛陽所有百姓都是如此，民家十室九空，因爲年年荒亂，民不聊生，困苦已極。想了想無計可施，無可如何，只得先到陝州城內訪看兩家老友，在當地住了兩天，忽想起東都洛陽乃是第二故鄉，親友甚多，還有姑母家中不知是何光景，何不趁此無事前往訪看、主意打定，第二日獨自起身，便往洛陽趕去。
剛到東門，便見一少婦披頭散髮，滿面淚容，往前哭喊奔走。一時好奇，跟將過去一看，前面有官差押着數十個壯丁正往前走，少婦也由後追來，忽然撲上前去，抱住內中一人又哭又跳，號叫不止，神情甚是悲痛，進前一聽，少婦哭道：“我自從嫁你，連你家的牀凳都沒坐暖，頭天晚上結婚，婚禮還未完全辦完，第二天一早你就離我而去，這樣匆忙太叫人難受了！”
少年答道：“不要氣苦，我所去之處並不大遠，不過是到河陽去守邊，至多三年五載就回來了，你這樣傷心作什麼？”
少婦哭道：“你可知道河陽雖然離此不遠，但是我的名分還沒確定，怎麼能見姑嫜呢？想起我爹孃在日，對我何等憐愛！只想我能夠嫁個好丈夫，白頭偕老，哪怕嫁雞嫁狗都是無妨。誰知我你從小在一起長大，彼此又是情投意合，只說姻緣美滿，誰想到會有這樣下場！並且你不說我也知道，河陽乃是戰場，賊兵之外還有胡兵，此去分明凶多吉少。我昨日哭到半夜，心腸都哭碎了，真想拼這條命不要，去向官差苦求，隨你同去。怎奈人事倉皇，不能如願。再一想，我一婦人隨在軍中許多不便，也妨礙你爲國殺敵的志氣，轉過頭來反倒勸你從此努力，志在戎行，不要因爲新婚念我，耽誤前途。還有我出身貧家，穿這樣華麗的嫁衣也不相稱，現在就脫下來還給你，我是再也不穿它了。”跟着便把身穿一件羅衣脫下，又用道旁小溝的雨水把臉上脂粉洗去，哭道：“你不說我打扮得好看麼？現在把它當面洗掉，省你想我！”
少年勸道：“你打扮得好好的，把它洗掉則甚？這件嫁衣無故拋棄更是多餘，你跟我慪氣麼？”
少婦悽然苦笑道：“你都走了，我打扮給誰看？穿給誰看呢？可憐我還不如那空中飛鳥，它飛起來都是成雙配對，我從此卻成了孤鬼，哎呀我的爹孃呵！哎呀我的丈夫呵！我只望你千萬保重，早點回來，夫妻團圓，別的話我也沒法說了！”說罷大哭不止。
前面官差便趕過來威嚇。少年拉着少婦的手還想開口，被差役強行拉開，隨用繩子捆上兩臂，拉扯着往前走去。
杜甫看了好生難過，回到朋友家中，想起城內外所遇的事好生傷感，便寫了三首詩。這便是他詩句中最有名的“三別”（《垂老別》、《無家別》、《新婚別》）。
杜甫原知姑母早已去世，但想看看她的遺屬。所以一到洛陽，先往慶春門仁風裏鄭家訪看。細一打聽，姑母死後，全家星散，兩個表弟也不知去向。杜甫在堂前點香行禮，朝姑母靈位哭拜了一陣。又到十幾年前自己在洛陽時所居鄉亭窯洞去走了一遍，也是一個熟人沒遇上。眼前所看都是一片殘破。當年東都的繁華景象連一點影子都沒有了。慨嘆了一陣重又回到城裏，好容易尋見兩個故友，聚了一日，便各分手，自往華州任職不提。
大曆二年，杜甫先由梓州遷往雲安縣，住了不多日子，又由雲安移家菱州的赤甲，因愛當地水土風景，不久便在東屯，-西兩處分別建造了一所茅舍，把家安了下來。自己又率領家人開了幾畝田，造了一隻小船，往來於東屯、-西之間，田家生活頗有樂趣。杜詩裏所謂“東屯復-西，一種住清溪”，就是說的這件事。
好容易辛苦經營，全家安居了些時，到了大曆三年還是不耐久住，正月泛舟出峽，離開四川，往湖北的江陵縣走去。三月到達江陵，住不多久，又遷往公安，到了當年冬天又遷往嶽州。住不多日，再遷往衡州。到了夏天，因爲天氣太熱，重又遷回潭州。大曆五年在潭州住了三四個月，遇見叛將臧-變亂，又回衡州避亂，住不多日，因聽傳說，舅父崔偉現在郴州爲官，欲往投奔，無奈客居異地，拖着一家婦孺，許多不便，只得暫時忍耐，沒有走成。最後費了許多事才勉強起身，還是自駕扁舟，順江前往。
船到來陽，停泊在方田驛，打不起主意。到了秋天，實在感覺光景艱難，不能久住下去，便把船開往荊楚一帶，順流而下，想碰碰機會！哪知一事無成，所想找的人一個也未見到。因爲窮愁抑鬱，潦倒不堪，一家婦孺衣食艱難，日子一久，便憂勞成疾，得了一場重病。
過了幾月，偶往岳廟閒遊，忽遇山洪暴發，無法迴轉，後被來陽縣令知道，親自帶船往援，才把他接了回來。縣令對杜甫頗爲優禮！常時送他些酒肉。
這一天杜甫的病剛好一點，正遇縣令送來酒肉，一時高興，多吃了些，病勢復發，次日連請醫生診看服藥全都無效。捱了幾個月，病終不起。這一天晚上，見月色甚佳！江面上風露浩然，晴空一碧，一時高興，只顧賞月，睡時天已深夜，當晚氣喘不止，病勢加重，溘然長逝，年才五十九歲。
死後蕭條，社妻楊氏無奈何，變賣衣物，買了棺木，草草成殮，帶了宗文、宗武，幾個姨姑，把靈柩送到岳陽。又把坐的船賣掉，纔在當地勉強殯葬。後來宗文、宗武雖然成長，但是進身無路，家道還是那麼窮困。直到宗武的兒子嗣業長大，長年焦勞，費了不少事，求了許多人，才繼續先人之志，把杜甫的靈柩送到洛陽愜師。這時楊氏已早病死，嗣業才得把祖父母的靈柩合葬在首陽山。離開杜甫的死已四十多年了。