韋賢的讓位，趙廣漢的砍門，蕭望之領著儒生們對霍氏的言語上的攻擊，再笨的人都知道霍氏恐怕要倒黴了。越來越多的人開始與霍氏劃清關係，甚至往霍氏身上潑髒水，霍氏勢力日孤。
當年淳于衍因霍夫指使毒害了許後，過了很久，霍夫人給了她一筆財物，並沒有讓給他的夫君所求的職位，並且不讓她再去霍府。
後來，她的夫君後來得知此事，便對此有所有些抱怨，慢慢的便被外人所知。大將軍在時，眾人不敢言語，如今宣帝許百姓奏密事，眼見霍氏孤立，便有人密奏淳于衍受霍夫人指使毒死許後。
宣帝本就對許後之死有懷疑，如今見了密奏，心中便確定許後之死與霍夫人脫不了干係。當初宣帝事事依著霍光，唯獨在這件事上他堅持已見，卻不想付出的代價便是許後的命。
如今確切得知許後是被霍夫人害死的，恨不得立時將霍夫人抓起來，為許後報仇，所以他迅速將丞相魏相招進了宮中商議。
“雖有密奏，但並無證據。現在霍氏手握兵權，宮中緊要關口皆霍氏子弟，要查此事，必然驚動他們，皇上此事還得從長計議啊。”
魏相見宣帝一臉怒氣，生怕宣帝意氣用事。
“以丞相之見，該當如何？”二十四歲的宣帝深呼一口氣說到，雖然只有二十四歲，但是經過幾年的磨礪，他辦事向來穩重老成，唯有在這一件事上，他不能控制自己的情緒。
“這霍氏如今把持朝政，不如先用輪崗的辦法，將他們調出關鍵位置，然後再徐徐圖之。”魏相說到。
魏相不是一個大方的人，當日霍家家僕逼得他府中的侍御史下跪道歉，他當時雖然保持了沉默，可此事一直在他心中記著，早就想對付霍家了，然之前削霍家兵權的奏書並沒有得到宣帝的迴應，如今見機會來了，便又提了起來。
很快，霍氏最得力的三女婿度遼將軍、未央衛尉範明友被調任光祿勳，將霍光的二女婿諸吏、中郎將、羽林監任勝調出京師，任安定太守。
當初大將軍霍光囑咐他們不要放棄軍權，他的三
女婿範明友便問道若是皇上有令該怎麼辦，而大將軍霍光的答覆卻是沉默，當初他們理解的便是認了。
再加之現在形勢對霍氏非常不利，民間、儒生都在言語上攻擊霍氏，斷然是不敢違令不遵，所以範明友和任勝都很老實的接受了。
過了段時間，宣帝見霍氏兩個女婿的輪崗沒有特別大的反應，便又將霍光的姐夫給事中、光祿大夫張塑高出長安城，任蜀郡太守，將霍光的孫女婿、中郎將王漢調任武威太守。
有了範明友和任勝前面的“榜樣”，張塑、王漢自然也不敢違令，出了長安城。緊接著，又將霍光的二女婿長樂尉鄧廣漢調任少府。
八月十四，任張安世為衛將軍，未央、長樂兩宮衛尉，長安十二門的警衛部隊和北軍都由張安世統令。同時任命霍禹為大司馬，卻不讓他卻不讓他戴照例應戴的大官帽，而戴小官帽，且不頒給印信、綬帶，也就是說給了名，卻不給實權。
如此的一翻輪崗，霍氏的兵權都被削得差不多了，然這還不夠。
九月十九，地震。
冬十月，宣帝便下詔說：“前者九月十九地震，朕深感惶恐，希望群臣能陳述朕的過失，並舉薦賢良方正直言極諫的人以匡正朕的不足，要無所諱忌，不避權貴。由於朕德行不足，不能使邊遠地區歸附，以致邊境屯戍不息。接著又命令重兵屯守，增加百姓的負擔與將士的勞苦，這不是一種安靖天下的長策。現決定撤除車騎將軍張安世、右將軍霍禹屯兵
就這樣霍禹雖然得到了大司馬的名，兵權卻被罷了，為了避免霍氏反應過大，所以同時罷了張安世的屯兵。
而範明友的度遼將軍的印信和綬帶收回也被宣帝收了回去，僅擔任光祿勳一職；霍光的四女婿趙平騎都尉、光祿大夫，統領屯戍部隊，也被收回了騎都尉的印信和緩帶。
所有統領胡人和越人騎兵、羽林軍以及未央、長樂兩宮衛所屬警衛部隊的將領，都改由漢宣帝所親信的許、史兩家子弟擔任。
宣帝削霍家兵權的同時也沒忘記政務，同時下詔：“池陂禁苑皇家未曾
使用的，皆借給貧民使用。郡的樓臺館舍，不再修建。外流人員返回的，藉以公田，貸給種子口糧，免其稅賦及給徭役。”
不停的將公田和皇家池園借給農民使用，宣帝是第一人。像這種借種子，免稅賦等惠農的政策，自宣帝繼位之後便一直持續。
宣帝一系列的動作，終於讓霍夫人變得驚恐萬分，卻根本拿不出相應的對策來，於是便破罐子破摔。
什麼事也不管了，在府中窮盡其樂。製造同御用規格相同的人拉輦車，繪以精美的圖畫，車上的褥墊用錦繡製成，車身塗以黃金，車輪外裹上熟皮和綿絮，以減輕車身的顛簸，由侍女用五彩絲綢拉著霍顯在府中游玩娛樂。
她的這種行為自然也被人密奏到宣帝之外。
而霍禹還沒認識到事情的嚴重性，被削了軍權後竟和宣帝耍起脾氣，稱病不上朝，他的這種行為真是讓依附與霍家的人著急。
“大司馬怎麼突然就病了呢？”霍禹原來的長史，現任太中太夫任宣許久沒見著霍禹便尋上門來了。
“我哪裡有什麼病？皇上若不是靠我家將軍怎麼能當上皇上，如今將軍的屍骨未寒，他就開始排斥咱們霍家，反而任用許、史兩家的人員，還沒收了我的官印，如今連那京兆尹都欺負到我的頭上來了，真是叫人氣憤！”霍禹憤憤的說道！
“大司馬怎麼可能跟大將軍時代比！當初大將軍把持國家權柄，生殺予奪操在手中，何人敢說半個不字。廷尉李仲、王平、左馮翊賈勝胡、田千秋丞相女婿少府徐仁都是忤逆大將軍的旨意而被下獄處死。史樂成這樣的小戶人家的子弟因大將軍的寵愛了官至九卿，爵為列侯。百官以下眼裡只有大將軍的家奴馮子都、王子方，而沒有丞相。而如今許、史兩家是天子的骨肉姻親，得到尊貴是理所當然的。大司馬若因此懷恨在心，實不應該啊！”任宣先是回憶了當初大將軍霍光的風雲歲月，然後又委婉的勸告霍禹大將軍的時代已經一去不復返了，要接受現實，這脾氣是鬧不得的。
霍禹聽了後默然不語，過了幾天，便又乖乖的去上朝了。
（本章完）