呆叟選了吉日，將要遷移，方才知會親友，叫他各出份資，與自己餞別，說：「此番移家，不比尋常遷徙，終此一生優遊田野，不復再來塵市。有人在城郭之內，遇見顧呆叟者，當以『馮婦』呼之。」眾人聽了，都說：「此舉甚是無謂。自古道：『小亂避城，大亂避鄉。』就有兵戈擾攘之事，鄉下的百姓，也還要避進城來；何況如今烽火不驚，夜無犬吠，為什麼沒緣投故，竟要遷徙下鄉，還說這等盡頭絕路的話？」呆叟道：「正為太平無事，所以要遷徙下鄉。若到那犬吠月明、烽煙告急的時節，要去做綠野耕夫，就不能夠了。古人云：『趨名者於朝，趨利者於市。』我既不趨名，又不趨利，所志不過在溫飽。溫莫溫於自織之衣，飽莫飽於親種之粟。況我素性不耐煩囂，只喜高眠靜坐，若還住在城中，即使閉門謝客，僵臥繩床，當不得有剝啄之聲，攪人幽夢，使你不得高眠；往來之劄，費我應酬，使人不能靜坐。希夷山人之睡隱，南郭子綦之坐忘，都虧得不在城市；若在城市，定有人來攪擾，會坐也坐不上幾刻，會睡也睡不到論年，怎能夠在枕上遊仙，與嗒然自喪其偶也？」

　　眾人聽了，都說他是迂談闊論，個個攀轅，人人臥轍，不肯放他出城。呆叟立定主意，不肯中止。眾人又勸他道：「你既不肯住在城中，何不離城數里，在半村半郭之間，尋一個住處？既可避囂，又使我輩好來親近。若還太去遠了，我們這幾個，都是家累重大的人，如何得來就教？」呆叟道：「入山惟恐不深，既想避世，豈肯在人耳目之前？半村半郭的，應酬倒反多似城內，這是斷然使不得的。」回了眾人，過不上幾日，就攜家入山。

　　自他去後，把這些鄉紳大老，弄得情興索然。別個想念他，還不過在口裏說說，獨有殷太史一位，不但發於聲音，亦且形諸夢寐；不但形諸夢寐，又且見之羹牆。只因少了此人，別無諍友。難道沒些過失，再沒有人規諫他。因想呆叟臨別之際，坐在一間樓上，贈他許多藥石之言，沒有一字一句不切著自家的病痛；所以在既別之後，思其人而不得，因題一匾，名其樓曰「聞過樓」。

　　呆叟自入山中，遂了閒雲野鶴之性，陶然自適，不啻登仙。過了幾月，殷太史與一切舊交因少他不得，都寫了懇切的書，遣人相接，要他依舊入城。他回劄之言，言語甚是決烈。眾人知道勸他不回，從此以後，也就不來相強。

　　一日，縣中簽派里役，竟把他的名字開做一名櫃頭，要他入縣收糧，管下年監兌之事。差人齎票上門，要他入城去遞認狀。呆叟甚是驚駭，說：「里中富戶甚多，為什麼輪他不著？我有幾畝田地，竟點了這樣重差？」差人道：「官錯吏錯，來人不錯。你該點不該點，請到縣裏去說，與我無干。」

　　呆叟搬到鄉間，未及半載，飯稻羹魚之樂，才享動頭，不想就有這般磨劫！況且臨行之際，曾對人發下誓言，豈有未及半年，就為馮婦之理！只得與差人商議，寧可行些賄賂，央他轉去回官，省得自己破戒。差人道：「聞得滿城鄉宦都是你至交，只消寫字進去，求他發一封書劄，就回脫了，何須費什麼錢財！」呆叟素具傲骨，不肯輕易干人；況有說話在先，恐為眾人所笑，所以甘心費錢，不肯寫字。差人道：「既要行賄，不是些小之物，可以干得脫的，極少也費百金，才可以望得倖免。」呆叟一口應承，並無難色，盡其所有，干脫了這個苦差。未免精疲力竭，直到半年之後，方才營運得轉。

　　正想要在屋旁栽竹，池內種魚，構書屬於住宅之旁，蓄蹇驢於黃犢之外，有許多山林經濟，要設施佈置出來。不想事出非常，變生不測，他所居之處，一向並無盜警，忽然一夜，竟有五七條大漢，明火執仗，打進門來，把一家之人，嚇得魂飛膽裂。

　　呆叟看見勢頭不好，只得同了妻子立過一邊，把家中的細軟，任憑他席捲而去。既去之後，撿著幾件東西，只說是他收拾不盡、遺漏下來的；及至取來一看，卻不是自己家中之物，又不知何處劫來的。所值不多，就拿來丟過一邊，付之不理。

　　他經過這番劫掠，就覺得窮困非常，漸漸有些支撐不去；依舊怕人恥笑，不肯去告貸分文。心上思量說：「城中親友聞之，少不得要捐囊議助，沒有見人在患難之中，坐視不顧之理。與其告而後與，何如不求而得？」

　　過不上幾日，那些鄉紳大老，果然各遣平頭，齎書唁慰。書中的意思便關切不過，竟像自己被劫的一般。只是一件可笑：封封俱是空函，並不見一毫禮物，還要賠酒賠食，款洽他的家人。心上思量道：「不料人情惡薄，一至於此！別人慳吝也罷了，殷太史與我是何等的交情，到了此時，也一毛不拔，要把說話當起錢來，總是日遠日疏的緣故。古人云：『一日不見黃叔度，鄙吝復生。』此等過失，皆朋友使然，我實不能辭其責也。」寫幾封勉強塞責的回書，打發來人轉去。從此以後，就斷了癡想，一味熬窮守困。

　　又過了半年，雖不能夠快樂如初，卻也衣食粗足，沒有啼饑號寒之苦。不想厄運未終，又遇了非常之事。忽有幾個差人齎了一紙火票，上門來捉他，說：「某時某日，拿著一夥強盜，他親口招稱，說：『在鄉間打劫，沒有歇腳之處，常借顧某家中暫停。雖不叫做窩家，卻也曾受過贓物，求老爺拘他來審審。』」

　　呆叟驚詫不已，接過票來一看，恰好所開的贓物，就是那日打劫之際遺失下來的幾件東西，就對了妻孥嘆口氣道：「這等看來，竟是前生的冤孽了！我曾聞得人說：『清福之難享，更有甚於富貴。』當初有一士人，每到黃昏人靜之後，就去焚香告天，求遂他胸中所欲，終日祈禱，久而不衰。忽然一夜，聽見半空之中，有人對他講道：『上帝憫汝志誠，要降福與汝，但不知所願者何事？故此命我來詢汝。』士人道：『念臣所願甚小，不望富貴，但求衣食粗足，得逍遙於山水之間足矣。』空中的人道：『此上界神仙之樂，汝何可得？若求富貴則可耳。』就我今日之事看來，豈不是富貴可求，清福難享？命裏不該做閒人，閒得一年零半載，就弄出三件禍來，一件烈似一件。由此觀之，古來所稱方外司馬、山中宰相其人者，都不是凡胎俗骨。這種眠雲漱石的樂處，騎牛策蹇的威風，都要從命裏帶來，若無夙根，則山水煙霞，皆禍人之具矣。」

　　說了這些話，就叫妻孥收拾行李，同了差役起身。喜得差來的人役，都肯敬重斯文，既不需索銀錢，又不擅加鎖鈕，竟像奉了主人之命，來邀他赴席地一般，大家相伴而行，還把他遜在前面。

　　呆叟因前番被劫，不能見濟於人，知道世情惡薄，未必肯來援手，徙足以資其笑柄，不如做個硬漢，靠著「死生由命」四個字，挺身出去見官。不想到近城數里之外，有許多車馬停在道旁，卻像通邑的鄉紳，有什麼公事商議，聚集在一處的光景。呆叟看了，一來無顏相見，二來不屑求他，到了人多的地方，竟低頭障面而過。

　　不想有幾個管家走來拽住，道：「顧相公不要走！我們各位老爺知道相公要到，早早在這邊相等，說有要緊話商議，定要見一見的。」呆叟道：「我是在官人犯，要進去聽審，沒有工夫講話。且等審了出來，再見眾位老爺，未為晚也。」那幾個管家，把叟望緊緊扯住，只不肯放；連差人也幫他留客，說：「只要我們不催，就住在此間過夜，也是容易的，為何這等執意。」

　　正在那邊扯拽，只見許多大老，從一個村落之內趕了出來。親自對他拱手，道：「呆叟兄，多時不會，就見見何妨？為什麼這等拒絕？」說了這一句，都伸手來拽他。呆叟看見意思慇勤，只得霽顏相就，隨了眾人走進那村落之內，卻是一所新構的住居。只見：

　　柴關緊密，竹徑迂徐。籬開新種之花，地掃旋收之葉。數椽茅屋，外觀最樸而內實精工，不竟是農家結構；一帶梅窗，遠視極粗而近多美麗，有似乎墨客經營。若非陶處士之新居，定是林山人之別業。

　　眾人拽了呆叟，走進這個村落，少不得各致寒暄，敘過一番契闊，就問他致禍之由。呆叟把以前被劫的情形、此時受枉的來歷，細細說了一遍。眾人甚是驚訝，又問他：「此時此際，該作什麼商量？」

　　呆叟道：「我於心無愧，見了縣尊，不過據理直說。難道他好不分曲直，就以刑罰相加不成？」眾人都道：「使不得！你窩盜是假，受贓是實，萬一審將出來，倒有許多不便。我們與你相處多年，義關休戚，沒有坐視之理。昨日聞得此說，就要出去解紛，一來因你相隔甚遠，不知來歷，見了縣父母，難以措辭；二來因你無故入山，滿城的人都有些疑惑，說你蹤跡可疑；近日又有此說，一發難於分解，就與縣父母說了，他也未必釋然。所以定要屈你回來，自己暴白一暴白。如今沒有別說，縣中的事，是我們一力擔當，代你去說，可以不必見官。只是一件：你從今以後，再到鄉間去不得了。這一所住宅，也是個有趣的朋友起在這邊避俗的，房屋雖已造完，主人還在城中，不曾搬移得出。待我們央人去說，叫他做個仗義之人，把此房讓你居住，造屋之費，待你陸續還他。既不必走入市廛，使人喚你做『馮婦』；又不用逃歸鄉曲，使人疑你做窩家，豈不是個兩全之法？」

　　呆叟道：「講便講得極是，我自受三番橫禍，幾次奇驚，把些小家資都已費盡。這所房子住便住了，叫把什麼屋價還他？況且居鄉之人，全以耕種為事，這負郭之田，比不得窮鄉的瘠土，其價甚昂。莫說空拳赤手不能驟得，就是有了錢鈔，也容易買他不來。無田可耕，就是有房可住，也過不得日子，叫把什麼聊生？」

　　殷太史與眾人道：「且住下了，替你慢慢地商量，決不使你失所就是。」說完之後，眾人都別了進城。獨有殷太史一個，宿在城外，與他抵足而眠，說：「自兄去後，使我有過不聞，不知這一年半載之中，做差了多少大事。從今以後，求你刻刻提撕，時時警覺，免使我結怨於桑梓，遺禍於子孫。」又把他去之後，追想藥石之言，就以「聞過」二字題作樓名，以示警戒的話說了一遍。呆叟甚是嘆服，道他：「虛衷若此，何慮讜言之不至！只怕葑菲之見，無益於人，徒自增其狂悖耳。」

　　兩個隔絕年餘，一旦會合，雖不比他鄉遇故，卻也是久旱逢甘。這一夜的綢繆繾綣，自不待說。但不知訟事如何，可能就結？且等他睡過一晚，再作商量。