獨驃騎大將軍杜茂，尚留守北方，備禦匈奴。光武帝不欲勞兵，特使吳漢等北往，督徙邊民，盡入內地，但諭茂繕治城障，阻住胡烽。茂令兵士屯田築堡，毋敢少疏。會因軍吏冤殺無辜，遂致連帶免官，減削食邑，由修侯降爲參蘧鄉侯，另命蜀郡太守張堪爲騎都尉，使他往領茂營。匈奴聞茂去職，乘隙進攻，兵至高柳，被張堪督兵邀擊，大破胡兵，飛章告捷。光武帝因令茂爲漁陽太守，兼轄軍民。茂賞善罰惡，公正無私，吏士並樂爲用。匈奴以高柳被挫，再圖報復，竟發萬騎入漁陽。才入境內，即有數千健卒，當頭截住，彷彿與長城相似，絲毫不能動搖。再加張堪領着後隊，鳴鼓繼進，銳厲無前，把胡騎衝得七零八落。匈奴將帥，連忙奔還，十成中已喪失了四五成，從此畏堪如神，不敢近塞。堪乃勸民耕稼，特就狐奴地方，開稻田八千餘頃，不到數年，桑麻菽麥，偏地芃芃。百姓踊躍作歌道：“桑無附枝，麥穗兩歧；張公爲政，樂不可支！”總計堪守郡八載，戶口蕃庶，物阜民康。光武帝欲徵堪內用，堪竟病逝，有詔褒揚政績，賜帛百匹。堪字君遊，系南陽郡宛縣人，少時已有志操，號爲聖童，入蜀時不私秋毫，布被終身。中興循吏，杜詩以外，要算張堪。讚美循吏，藉以風世。
沛郡太守韓歆，亦剛直有聲，建武十三年間，大司徒侯霸病逝，特擢歆爲大司徒。歆就職後，每好直言，嘗在帝前指天畫地，不少隱諱。光武帝未免動怒，歆仍不少改，在任二年，坐被譴歸。未幾又頒詔申責，歆憤激自殺，子嬰亦死。都人士替他呼冤，爲帝所聞，乃追賜錢穀，具禮安葬。遇主如光武，且以直言賈禍，遑問他人。後來歐陽歙戴涉，相繼爲大司徒，俱坐罪論死，光武帝亦稍稍嚴急了。最錯誤的是廢后一事，爲光武帝平生大累。事在建武十七年間。光武帝既立郭氏爲皇后，嫡子強爲皇太子，相安有年，見十二回。郭後復生子四人，一名輔，一名康，一名延，一名焉。陰貴人亦生五子，長名陽，次名蒼，次名荊，又次名衡，名京。尚有一子名英，爲許美人所出。許美人無寵，當夕甚稀，故只生一男。就中總算這位陰貴人，最得寵愛，光武帝有時出征，嘗命陰貴人隨行。陰貴人初次生男，曾在元氏縣中分娩，彼時從徵彭寵，適當有娠，故在行轅中產兒，取名爲陽，兩頰甚豐，至十歲時能通《春秋》，光武帝目爲奇童。奪嫡之兆，已寓於此。建武十五年，大司馬吳漢等，上書請封皇子，三奏乃許。使大司空竇融告廟，封皇子輔爲右翊公，英爲楚公，陽爲東海公，康爲濟南公，蒼爲東平公，延爲淮陽公，荊爲山陽公，衡爲臨淮公，焉爲左翊公，京爲琅琊公。這是因年序封，故與上文敘次不同。諸子受封，才及月餘，有詔令天下州郡，檢核墾田戶口。刺史太守，依詔施行，次第奏報。獨陳留吏牘中夾入一紙，上書二語云：“潁川弘農可問，河南南陽不可問。”
光武帝瞧着，問所從來，吏人謂由長壽街上拾取，誤夾牘中。這是因光武好讖引惹出來。光武帝因疑生怒，頓有慍色。東海公陽，年才十二，適侍帝后，便乘間進言道：“河南帝城，必多近臣，南陽帝鄉，必多近親；田宅逾制，不便細問，故有是言！”
光武帝大悟，再使虎賁將窮詰吏人，吏人無從隱蔽，所對如東海公語。光武乃更遣謁者巡行河南南陽，糾察長吏，實地鉤考，免得徇私。但自此愛陽有加，自悔立儲太早，不得使陽爲冢嗣。天下事不宜生心，一有芥蒂，免不得形諸詞色。郭皇后暗中窺透，當然懷嫌，因此對着帝前，往往冷嘲熱諷，語帶蹊蹺。光武帝積不能容，遂致夫妻反目，動有違言。到了十七年冬月，竟突然下詔道：
皇后懷勢怨懟，數違教令，不能撫循他子，訓長異室。宮闈之內，若見鷹鸇，既無關睢之德，而有呂霍之風，豈可託以幼孤，恭承明祀？今遣大司徒戴涉，時涉尚未坐罪。宗正劉吉，持節往諭，其上皇后璽綬。陰貴人鄉里良家，歸自微賤，自我不見，於今三年。兩句援引《詩經》，爲追憶之詞。宜奉宗廟爲天下母。異常之事，非國休福，不得上壽稱慶，特頒詔以聞。
詔既頒發，羣臣互相錯愕，莫敢發言。郭皇后只好繳出印綬，徙居別宮。那色藝兼優的陰貴人，竟得超居中宮，母儀天下。句中有刺。殿中侍講郅惲進奏道：“臣聞夫婦情好，父子間尚且難言，況屬在臣下，怎敢參議？但望陛下慎察可否，勿令天下貽議社稷，方可無憂！”光武帝答道：“卿能曲體朕意，朕亦不爲已甚哩！”乃暫不易儲，更進郭後次子輔爲中山王，號郭後爲中山太后。餘如東海公陽以下，俱進封爲王。嗣且命趙齊魯三公，均復王爵，這且待後再表。
且說光武帝即位以後，嚐出幸舂陵，親祠先人園廟，旋又改舂陵鄉爲章陵縣，永免徭役，比擬高祖時代的豐沛。至建武十七年冬季，復至章陵祭祖，治舊宅，觀田廬，置酒作樂，大會宗室，無論男婦老幼，並得列席。酒至半酣，諸母相與絮語道：“文叔光武帝小字，見前文。少時謹信，與人交際，無甚款曲，不過柔順有容，素無爭忤。誰料今日尊榮至此！”光武帝湊巧聽見，不由得接口道：“我御天下，亦欲以柔道爲治，並不致後先矛盾哩！”說着，鼓掌大笑。諸宗室相率騰歡，至日暮方纔散席。越宿由光武帝諭令有司，爲宗室盡建祠堂，然後命駕起行，還至宮中，已將殘臘。倏忽間又是建武十八年了，孟春無事，過了一月，忽得蜀郡警報，乃是守將史歆，據住成都，自稱大司馬，猝攻太守張穆，穆逾城走入廣都，飛書乞援。光武帝亟令大司馬吳漢，率同臧宮劉尚二將，領兵萬餘，往討史歆。漢至武都，再發廣漢巴蜀三郡兵馬，進圍成都，數旬即下，把史歆擒斬了事。宕渠人楊偉，朐䏰人徐容等，本已爲史歆誘惑，各糾衆數千人，與歆相應。吳漢等既收復成都，再乘桴沿江，進至巴郡。楊偉徐容，聞風駭走，終被漢軍擒誅，餘黨皆降，徙居南郡長沙。蜀郡復平，漢等還朝覆命。
不意南方交阯，突出了兩個蠻女，公然聚衆造反，寇掠嶺南六十餘城。呂母遲昭平後，復出了兩個蠻女，甚是奇特。兩蠻女叫作徵側徵貳，本是一對姊妹花，爲麊冷縣雒將女兒。麊冷音糜零，交阯僻處南海，從前未設郡縣，爲土人所分據，隨地墾田，有雒王雒將雒民等名。面貌不過尋常，身材很是長大，力舉千鈞，霸佔一方。側尤驍勇，已嫁與朱鳶人詩索爲妻，她卻不安家室，惟與妹徵貳玩刀耍槍，練習武藝。及刀槍純熟，自謂技藝無敵，想做一個南方女大王。可號爲井底雌蛙。於是號召徒衆，待機即發。適交阯太守蘇定，執法相繩，飭令繳械散衆，不得生事。側與貳遂憤然發難，攻陷郡城，蘇定出走，南方大亂。九真日南合浦各蠻夷，譁然起應，郡守紛紛內避，被她鬧得一塌糊塗，所有嶺南六十餘城，並罹兵阨。側竟自立爲王，令貳爲大將，兩蠻女振動雌威，名聞遠近。警報傳到洛陽，光武帝怎能坐視？便選出虎賁中郎將馬援，使爲伏波將軍，令與扶樂侯劉隆，督率樓船將軍段志等，南下討賊。援前爲大中大夫，與來歙同爲監軍。見十八回。歙嘗奏言隴西侵殘，羌種雜沓，非馬援不能平定。光武帝因拜援爲隴西太守，援連破叛羌，征服餘衆，繕城治塢，闢田勸耕，隴西以安。嗣被召爲虎賁中郎將，屢得進見，嘗與光武帝談論兵法，意俱相合。再出討皖城妖人李廣，一鼓即平。這是補敘之筆。至是復受命南征，航海前進。軍至合浦，段志得着急病，竟至逝世。援令弁目護喪歸葬，自與劉隆並領水軍，水盡登岸，闢山通道，得達浪泊。徵側方安據交阯，南面稱尊，總道是天高地迥，任所欲爲，驀聞漢軍已至浪泊，也不禁吃了一驚。當下升帳點兵，得數萬人，使妹徵貳爲先鋒，自爲後應，至浪泊中搦戰。兩陣相交，金鼓連天，約莫有兩三個時辰，蠻衆究竟烏合，敵不過百戰雄師，一敗便走，勢若散沙。徵側徵貳，但靠着兩臂蠻力，目無中原，至此才知王師厲害，覓路逃走。援驅軍追殺，斬首數千級，收降萬餘人，女流究屬無用，不堪一戰。趁勢至交阯城下，四面圍攻。徵側自覺孤危，即與徵貳商議道：“我與汝奮臂一呼，遠近響應，不到數月，得攻克六十餘城，滿望殺往嶺北，進據中原，哪知中朝天子，遣到精兵猛將，銳不可當，現今坐困危城，如何是好？”徵貳想了多時，才答說道：“據妹子看來，此城斷不可守，不如奔往金溪穴中，扼險自固，就使猛將如雲，亦不能搗破此穴，待他糧盡引退，我等復好出據此城了。”徵側點首稱善，隨即棄城夜遁。馬援聞知，率衆力追，行抵金溪，連戰數陣，蠻衆除殺死外，多半潰散。惟徵側徵貳兩姊妹，拼命逃走，得入金溪穴中，穴甚深邃，四圍有大山包住，只有一口可通，也是險仄得很。側與貳竄入此穴，使殘衆堵住穴口，大有一夫當關，萬夫莫開的形勢。援率衆到了穴前，察視四周，除穴口外，竟是無縫可鑽，倒也躊躇得很。自思航海南來，費盡千辛萬苦，得入此地，倘若畏難即退，豈不是盡隳前功？況且留此兩婦，終究是將來禍祟，理應斬草除根，方免後患。於是下令軍士，隨山伐木，就谷口築起巨柵，容納全師；再命遊騎巡弋四圍，截虜蠻衆，想得幾個俘虜，詢問路徑，或有一線可通，便好令他嚮導，搗殺進去。誰知一住半月，竟無人跡，山上瘴氣燻蒸，軍士一不小心，往往觸瘴致疾，真個是欲退不得，欲進不能。援卻抱定主意，誓滅此虜，勉令將士圍住谷口，一面分兵略定各郡，收聚糧食，輸運軍前。徵側徵貳總以爲漢軍無法，定必速退，且穴中曾備有糧草，足資一年，但教安心耐守，自可解圍。螺蚌縮入殼中，能長此不開麼？不意過了數月，漢兵不退，又過數月，仍然不退，直至歲暮年闌，漢兵尚在谷外扼住，未曾退去。穴內糧食，已將告罄，且水道亦被漢兵塞斷，涓滴不見流入，害得又飢又渴，無可爲生。勉強過了殘冬，已是建武十九年正月。側與貳不能再伏穴中，只得驅衆殺出，衆兵已困憊不堪，沒奈何硬着頭皮，衝出谷口，漢兵早已出柵待着，見一個，殺一個，見兩個，殺一雙，嚇得蠻衆又復倒退。馬援知蠻衆不濟，傳令投降免死，蠻衆聽着，遂一齊拋去兵械，匍匐乞降。惟徵側徵貳兩人，罪在不赦，只得不管死活，捨命格鬥，結果是跌倒地上，雙雙就擒，當由漢軍縛住，推至馬援面前，兩人跪倒磕頭，哀求饒命。馬援作色道：“無知賤婢，也想抗拒天朝，今日還想求生麼？”說畢，即令刀斧手將兩人推出，一同梟首，獻入都中。恐洛陽城中，難得見此好頭顱？有詔封援爲新息侯，食邑三千戶。援乃宰牛釀酒，大饗將士，且笑且語道：“我從弟少遊，與我志趣不同，嘗謂人生在世，但教飽食暖衣，乘下澤車，跨款段馬，做一個郡縣掾吏，老守墳墓，鄉里間稱爲善人，也好知足，何必奔波勞碌，妄求功名？我當初意不謂然，今至浪泊西里，轉戰年餘，下潦上霧，毒氣瀰漫，仰視飛鳶搖搖，似墮水中，臥念少遊平生時語，幾不可得。還虧諸君戮力，得破二婦，乃先受恩賞，獨得佩金拖紫，食採封侯，真令我且喜且慚了！”將士等都離席跪伏，喧呼萬歲。援復令起飲，至醉方散。越日又率樓船大小二千餘艘，戰士二萬餘名，四處搜捕餘孽，斬獲五千餘人，嶺南乃平。援再至交阯，設立銅柱，上書：“大漢伏波將軍馬援建此。”然後振旅而還。小子有詩詠道：
何來蠻女敢稱雄，負險經年扼谷中。
幸有老成操勝算，堅持到底慶成功。
欲知馬援還朝情形，待至下回再詳。
光武帝能容功臣，獨不能容一妻子，廢后之舉，全出私意，史家多譏其不情。吾謂光武之誤，不在於廢后之時，而在於立後之始。陰氏女娶於先，郭氏女納於後，豈可因出身之貴賤，爲後先之倒置乎？況“娶妻當得陰麗華”，光武帝已有成言，本暱愛之初衷，得相攸於微賤，正應立彼爲後，不負前盟。故劍可求，杜陵之遺規猶在，何得以郭氏之早生皇子，超列中宮？古人有言：“慎厥初，惟厥終。”未有初基不慎，而可與之圖終者也。彼徵側徵貳，以南方之婦女，敢爾稱兵，想亦由戾氣所鍾，故有此異事耳。幸而伏波往討，務絕根株，千里奔波，一年耐久，卒得擒二婦於窟穴之間。倘非堅持不敝，貫徹始終者，亦安能若是耶？伏波銅柱，照耀千秋，宜哉！