卻說霍顯心虛情怯，悔懼交併，霍禹驚慌地說道：“像這等事情，為什麼不早對我們說呢？天子離散斥逐我們家的幾個女婿，是因為這個緣故啊。這是一件大事，處罰可不會輕，怎麼辦？”
霍山、霍雲，亦急得沒有主意。還是霍禹年紀較大，膽氣較粗，自思一不做二不休，將錯便錯，索性把漢宣帝廢去，方可免患。比母更兇。
忽然又見趙平趨入道：“平家有門客石夏，善觀天文，據言天象示變，熒惑守住御星，御星占驗，主太僕奉車都尉當災，若非罷黜，且遭橫死。”
霍山正為奉車都尉，聽了趙平言，更覺著急慌忙。就是霍禹、霍雲，亦恐自己不能免禍。正在秘密商議，又有一人進來，乃是霍雲舅舅李竟的好友，叫做張赦。
霍雲亦與交好，當即迎入，互相談敘。張赦見雲神色倉惶，料有他故，用言探試，便由雲說出隱情。張赦即替他設策道：“如今丞相與平恩侯當權，可以叫太夫人告訴太后，先把這兩個人殺了。罷黜陛下，就在於皇太后。”
霍雲欣然受教，張赦也即告別。
不料屬是隔牆有耳，此事竟為他人所聞，霍氏家中的馬伕，約略聽見張赦的計謀，夜間私議。適值長安亭長張章，與馬伕相識，落魄無聊，前來探望。馬伕留他下榻，他佯作睡著，卻側著耳聽那馬伕密談，待至馬伕談完，統去就寢，便不禁暗喜，想著即藉此事出頭，希望能圖得富貴。心雖不善，但不如此，則霍氏不亡。朦朧半晌，已報雞聲，本來張章就粗通文墨，至此醒來，又復打定腹稿，一至天明，即起床與馬伕作別，自去繕成一書，竟向北闕呈入。漢宣帝本欲杜除壅蔽，使中書令傳詔出去，無論吏民，概得上書言事。一面由中書令逐日取入，親自披覽。至看到章書，就發交廷尉查辦，廷尉使執金吾官名。前往捉捕張赦石夏等人；過一會，漢宣帝又命令停止抓捕。
霍氏知陰謀被洩，越發感覺驚惶。霍山等相率聚議道：“這由縣官顧著太后，恐致干連，故不願窮究。但我等已被嫌疑，且有毒死許後一案，謠言日盛，就使主上寬仁，難保左右不從中舉發，一或發作，必致族誅。今不如先發制人，較為得計！”
已經遲了。乃使諸女各報夫婿，勸他一同舉兵謀事。各婿家也恐連坐，情願如約。會霍雲舅舅李竟，坐與諸侯王私相往來，得罪被拘。此案與霍氏相連，有詔令霍雲、霍山，免官就第，霍氏愈致失勢。只有霍禹一人，尚得入朝辦事。百官對著霍禹，已不若從前敬禮，偏又經漢宣帝當面責問，謂霍家女入謁長信宮。何故無禮？霍家奴馮子都等，何故不法？說得禹頭汗直淋，勉強免冠謝罪。乃退朝回來，告知霍顯以下等人，膽小的都嚇得發抖，膽大的越激動邪心。顯忐忑不安，夜間夢見霍光與語道：“汝知兒被捕否？”
霍光果真有靈，當先活捉馮子都，這全是霍顯做賊心虛，驚慌所致。霍禹也夢車聲馬聲，前來拿人。母子清晨起床，互述夢境，並皆擔憂。
霍家的住宅中的老鼠一下多了起來，與人相互碰撞，用尾巴在地上亂畫。貓頭鷹幾次在殿前的樹上叫喚。住宅的門無緣無故毀壞，霍雲尚冠裡的住宅中的門也無緣無故地壞了。街巷口的人都看到有人坐在霍雲的屋頂上，揭下瓦片扔到地上，到跟前去看，卻又沒有見到人，感到非常奇怪。
地節四年（前66年）春月，漢宣帝求得外祖母王媼，及母舅無故與武，當即稱王媼為博平君，封無故為平昌侯，武為樂昌侯；許史以外，又多了王門貴戚，頓使霍家相形見絀，日夜愁煩。
霍山唯獨怨恨魏相，侈然語眾道：“丞相擅減宗廟祭品，如羔如兔龜，並皆酌省。從前高後時，曾有定例，臣下擅議宗廟，罪應棄市。今丞相不遵舊制，何勿把他舉劾呢！”
霍禹、霍雲，尚說此舉只有關魏相，未足保家。因此復另設一計，他們設謀叫上官太后為博平君設定酒席，把丞相、平恩侯以下的官員召來，讓範明友、鄧廣漢奉太后的制令將這些人拉出去斬首，乘機罷除當今的天子，而立霍禹為帝。
相約定的計劃還沒有實施，又由漢宣帝頒詔，霍雲就被任命為玄菟太守，太中大夫任宣被任命為代郡太守。霍山又因為抄寫宮禁秘書犯法，霍顯為此上書表示願獻出城西的宅第及一千匹馬用以贖霍山的罪。漢宣帝在奏書上只批覆知道了。
哪知張章又探得霍禹等人逆謀，前往報告給期門（官名）董忠，董忠轉告左曹楊惲，楊惲又轉達侍中金安上。
金安上是前車騎將軍金日磾從子，方得主寵，立即奏聞漢宣帝，且與侍中史高同時獻議，並且果斷的關閉了宮門，禁止人員出入，並迅速通知了堂弟金賞。
侍中金賞，為金日磾次子，曾娶霍光女為妻。金賞與霍氏的感情是非常深厚的，一聽到這個訊息，金賞和妻子霍氏在面臨的大難前，做出了艱難的抉擇；霍氏知道，自己孃家的罪行會導致金氏的滅亡，兩個兒子受到極刑的處罰，繼而休屠部落和漢庭間將爆發大規模的戰爭，無辜的百姓會捲入無情的戰火。
在這種大是大非面前，霍氏和丈夫金賞互相商量，只有讓金賞休了自己，才能保全丈夫全家和自己的兩個兒子。為此金賞蹣跚地走入漢宣帝的宮殿，哀慼上書願與霍女離婚。
漢宣帝不能再容，當即派吏四出，凡霍氏家族親戚，一體拿辦。範明友先得聞風聲，賓士至霍山、霍雲家內，報知禍事。
霍山與霍雲魂膽飛揚，正在沒法擺佈，便有家奴搶入道：“太夫人第宅，已被吏役圍住了！”
霍山知不能免罪，取來毒藥先行服下，霍雲與範明友次第服下，待至捕役到門，已經毒發身亡，惟搜得妻妾子弟，上械牽去。那霍顯母子，未得預聞，竟被拘至獄中，審訊得出真相，霍禹受腰斬，霍顯亦遭誅，所有霍氏諸女，及女婿孫婿，悉數處死。甚至近戚疏親，輾轉連坐，誅滅不下千家。馮子都和王子方等人，當然也做了刀頭鬼，與霍氏一門，同赴冥途去了。馮子都成了陰魂，在地府又好再和霍顯玩樂了，只可惜在下面要是碰著霍光了，會不會被霍光的鬼魂打呢？
唯金賞因事前交出其妻，漢宣帝念及金安上忠心及金賞的果斷處理，甚是哀憐，得以金氏家族保全，倖免於難，獨得不連坐。
霍氏死後，金賞內心的痛苦，旁人無從知曉，《金氏族譜》中表明他沒有再續娶夫人；他的兩個兒子早年夭折後，也沒有讓他萌生再娶妻生子的念頭，一直默默的獨自承受著承擔對家族的重擔，默默的承受著對愛妻霍氏的承諾。
金賞帶領的休屠部眾數次兵出西域，為維護國家的安定起了重要的作用。
而霍皇后成君因為連坐被廢，收繳皇后璽綬，將其遷往上林苑的昭臺宮居住。
金安上等告逆有功，俱得加封，金安上受封都成侯，楊惲受封平通侯，董忠受封高昌侯，張章受封博成侯，平地封侯，張章最為僥倖。侍中史高，也得受封樂陵侯。
先是霍氏奢侈，茂陵人徐福，已知霍氏必亡，曾詣闕上書，請漢宣帝裁抑霍氏，毋令厚亡。
：道書上為代因，平不福徐為人有。福徐及不獨，賞厚膺俱等章張，滅族氏霍及。字二知聞了答批過不，上三至書，發不中留帝宣漢
。右之爛灼發焦居使，策之突曲薪徙貴願！之察下陛惟，功其蒙不獨福而，已既事往。敗之滅誅逆無臣，費之爵出土裂無國則，行得說福使向。之絕防宜，變有且氏霍言，書上數福徐陵茂今。之請而悟乃人主”？耶客上為額爛頭焦，澤恩無薪徙突曲，賓請而功論今。患火無終，酒牛費不，言之客聽使向“：曰人主謂人。者突曲言及不而，坐次功以各餘，行上於在者爛灼，人鄰其謝，酒置牛殺是於。息得而幸，之救共里鄰，火失果家而俄。應不然默人主；患火有且則否，薪其徙遠，突曲為更，人主謂客。薪積有旁，突直灶其見，者人主過有客聞臣
。乘驂自起，胎禍氏霍謂人時。事了即便，郎為福徐召算總來後；福徐賜頒，匹十帛取右左令但，然為以未尚下心，書覽帝宣漢
。盡兼端兩，私義公，勳元策定為後，臣大命寄為前。迎才方，定決霍由究終，議倡吉丙由雖，立得帝宣漢。室漢忠盡，年餘十二政輔霍但。滅族令便，發一謀逆以所，疑猜蓄已早帝宣漢
。錯大的下犯中生一霍是這，發不忍，案一後弒，令訓善不，子驕妻悍是只
。逆謀從無他使，氏霍抑足也，請朝奉得，縣大食俾但，廷朝踞蟠，弟子氏霍使不，後霍至待或，政歸令早該應，霍忌已既帝宣漢惟
。殺自令迫，館林雲錮逐將復，年二有十了過，容能不尚，宮冷錮廢，後霍的偎相狎相一至甚，祀絕令竟，霍如忠。市都流，家千坐連，刑濫則繼，賞濫則始何為。遲未屬也，薪徙突曲，諫進連接，書三福徐有況
。誤大一帝宣實是，失至遂，禍慮此鑑不始未雄揚孔！否懈此因不能，臣忠有如世後。恩寡刻殘，策失置也帝宣漢
