霍家子弟一向驕橫跋扈，甚至連家僕也不例外，平日裡大家都敢怒不敢言。見霍氏被削了權，又加之丞相魏相，謁者蕭望之鼓動。平日裡受了霍家氣的人，像蕭望之這樣出身不高又懷才不遇的儒生都紛紛上書言霍家的不是。
領尚書事的霍山看得又氣又急，便將這些奏書一一壓了下來不上報。丞相魏相將霍山的舉動都看在眼裡，也不做聲，便讓上書的人都改為密奏，霍山再也無計可施，才知道奏封事的厲害。
霍山知道這事是丞相魏相在後面推動，便也派人去查魏相，可是魏相行事謹慎，查來查去也沒查到魏相的半點把柄，由是氣悶。
霍家的形勢急轉直下，霍夫人便又將霍禹、霍山、霍雲召來商議。這次霍禹、霍山、霍雲沒了往日的囂張，卻又相對長吁短嘆，自相埋怨了起來。
“如今皇上信任丞相魏相，什麼事情都依他。父親屍骨未寒，就將其法令盡改，將公田借給貧民，以宣揚父親的過失。又有一班儒生，大多都是窮人的子弟，遠道而來長安，飢寒交迫，卻喜歡口出狂言，不避忌諱，素為父親所深惡。如今皇上卻喜歡同這些窮酸儒生交談，又讓他們自行上書答政事。這些人個個都將我們家說得很不堪，說父親在時把持朝班，獨攬大權，又說我們驕橫恣肆，恐怖危社稷，所以才導致災異頻現。我將這些奏書都壓了下來，後來這些人就全用密奏，皇上就讓中書令直接取走了，如今皇上是越來越不信任我們霍家了。”
霍山一邊說一邊嘆氣。
“丞相魏相老是說我們家的事，難道他就沒有什麼罪過？”霍夫人問道。
“魏相到是小心，我派人查了許久也沒查到，倒是我們家的子弟和女婿行為多有不端，還有馮子都，這個奴才也處處惹事。都到這個時候了，都不能省心些！”霍山一邊說一邊埋怨到，霍山對霍夫人的行徑也多有腹誹，可不敢講，所以只講
了馮子都。
“像咱們這樣的世家，哪有這麼規矩的，這長安城中，比咱們更過分的也有！”霍夫人見霍山提到馮子都，身子動了動，有些心虛的說到。
“就是，長安城中的這些貴戚哪個乾淨，那趙廣漢分明是針對咱們家，想來就氣人。更氣人的是那些人竟然傳是咱們霍家害死了許後，真是人走茶涼，父親逝世才一年多，這些人都來講咱們家的壞話。”霍禹也恨恨的說到。
“許後的事，是我叫淳于衍做的。”霍夫人見霍禹說起，心中實在是害怕，再也忍不住，將實情說了出來。
“什麼！”霍禹、霍山、霍雲聽了霍夫人的話，室內的氣氛都為之一凝，幾人相互對視，一時驚恐的說不出話來。
“我當初還不是為了咱們霍家才這樣做的，大將軍也是同意了的！”霍夫人見三人都盯著她，更加心虛，嚅動了下嘴脣，於是便將大將軍霍光拉了出來。
“像這種事情，您怎麼不早對我們說呢？皇上離散排斥我們家的子弟、女婿，都是這個原因。這是一件大事，搞不好就會被滅族的！如今我們軍權全被奪，您才告訴我們！”霍山也不管霍夫人是長輩，幾乎是吼出來的。
“我先前提醒你們注意丞相魏相，你們個個都不聽我的，如今卻來怪我了？”霍夫人被霍山一責備，眼圈一紅，便又哭了出來。
幾個人又你看我，我看你，相互埋怨了幾句，也沒拿出什麼辦法。
霍家現在是如驚弓之鳥，而宣帝卻已是磨刀霍霍。
十二月，下詔：“近來，官吏們舞文弄法的現象越來越嚴重，這都是朕的錯誤。案獄處理不當，使有罪者愈發作惡，無辜者遭受嚴刑處罰，父子兄弟悲傷憤恨，朕對此甚為難過！如今派廷尉史參與各郡的司法事務，但職權小俸祿少，應再設定廷尉平四名，俸祿為六百石。務必使審判公平，以符合朕的心意！”
新增四名廷尉平，參與司法，並定於第年秋天，對一年中的案獄做最後決定，宣帝將在宣室殿親自參與裁決。
詔令下達後，涿郡太守鄭昌上奏說道
“明君設定直言規勸的大臣，不是發揚聖德，而是為防備安樂的生活；建立法制彰明刑令，不是為了太平，而是為了拯救衰敗動亂以重新興起。現在皇上親自聽取案情，即使不設定廷平，官司也將自然判案公正；如果為開創後世，不如刪改確定法令。法律一旦確定，百姓就知道所要躲避的，邪惡的官吏就無法玩弄法律了。現在不端正法律的根本，而去設定廷平治理法律的末端，政治衰敗治理鬆懈，那麼廷平將會攬權而成為動亂的禍首。”
武帝時期，由於頻繁徵調，百姓困苦，於是窮苦之人紛紛作亂，觸犯法律。為了遏制這一現象，武帝命酷吏張湯、趙禹等人定出許多嚴厲的處罰條例，如“明知有人犯法而不舉報者連坐”、“長官有罪，屬撩連從”等。
從此官吏皆以執法從嚴為能，對犯有給人定罪過嚴或栽贓陷害罪的官吏處理從寬，而對那寬釋犯人的官吏則嚴懲。從而讓許多奸猾的官吏玩弄法律，導致法律條文越來越繁雜，有時罪行相同的竟有各種不同的處罰，奸猾官吏藉機進行交易，索取賄賂。想使罪犯活命，就附會能讓他活命的法令；想致其於死地，就引用使其非死不可的條文。
如宣帝設定廷平雖然能在一定程度上制止此種情況，然到底是治標不治本。而鄭昌所說奏之言，則是從法律本身入手，非常可行。
然宣帝並未聽取，因為他設定廷平此職，一是可將刑獄緊緊的抓在自己的手中，二是這四個延平是專門為霍氏準備的。既然準備對付霍氏了，自然是相應的人員要到位！
萬事俱備，只欠東風！一切都準備好的，宣帝要做得就是等著霍家的人犯錯，自動落入他為霍家準備好的陷井中！
（本章完）