漢武帝在位時一大重要政績就是驅逐匈奴，衛(wèi)青和霍去病就都是那時候在對匈奴的作戰(zhàn)中出名的。尤其是霍去病，作戰(zhàn)勇猛，戰(zhàn)功顯赫，年僅20歲就被封為冠軍侯，漢武帝對他也是極為喜愛，只可惜霍去病是個短命鬼，年輕早逝。
漢武帝愛屋及烏，對霍家人都有封賞和重用，其中霍去病的弟弟霍光就是因此而在朝中受到任用。后來漢武帝劉徹去世，繼位的漢昭帝劉弗陵年僅八歲，霍光因而受到重用，成為了輔政大臣。
別看漢昭帝年齡小，但他極為聰明，知道自己年幼無法掌控政事，而霍光又是個比較敬業(yè)的人，因此所以對霍光十分倚重。當時霍光以輔政大臣的身份一手把持朝政，因此暗地里嫉妒他的人不少。不時就有人誣陷霍光，甚至設計謀害霍光，都被漢昭帝明察秋毫，保了霍家一命。
若是如此，那么霍家自然可以顯赫，哪知道人算不如天算，漢昭帝劉弗陵是個短命鬼，才21歲就死了，最要命的是他沒有留下兒子。自古立嗣就是大事，何況這是給大漢朝選皇帝呢？于是大家在眾諸侯王中選拔，霍光決定讓昌邑王劉賀繼位，但就是這個決定，給霍光乃至霍家都抹上了黑點。
劉賀算起來是劉弗陵的侄子，因為他爹劉髆是漢武帝劉徹的兒子，漢昭帝劉弗陵的哥哥?？蓜①R是個不成器的家伙，荒淫無度，而且不管政事，把長安搞得烏煙瘴氣。僅僅即位15天，霍光悔得腸子都青了，堅決要廢掉他。
于是乎，劉賀僅僅在位27天就被廢了，史稱漢廢帝，成為了漢朝歷史上在位時間最短的皇帝。而劉賀原來的封地昌邑也被沒收了，到了最后賜了個海昏侯的名號?，F在江西南昌很有名的?；韬钅咕褪撬?。
因為這次失敗的選擇，霍光一是背上了選人當的名聲，二是犯了大臣廢立皇帝的大忌。這都為今后霍家的沒落埋下了伏筆
好巧不巧，就在大家為選誰犯難的時候，有人翻出了前朝舊事，說是找到了漢武帝的太子劉據的遺孤。說起這個廢太子劉據，身世也十分可憐，因為漢武帝晚年昏聵，特別信奉巫蠱之術，在江充的蠱惑下認定太子謀反。最后太子一家被滅，還牽連到了當時的皇后衛(wèi)子夫及衛(wèi)青一族。
劉據的孫子劉病已有幸被保了下來，但一直無法返回宮廷，只能寄養(yǎng)在民間。說起來霍光與劉病已還有千絲萬縷的親戚關系，劉據的母親是衛(wèi)子夫，舅舅是衛(wèi)青。而霍去病則是衛(wèi)青的外甥，霍光又是霍去病的弟弟，這樣的話霍光就跟劉據是平輩，劉病已就算是霍光的孫輩了。
劉病已就這么被推上了皇位，改名劉詢，是為漢宣帝。而劉詢在民間的時候，曾娶了小吏許廣漢的女兒許平君為妻，劉詢即位后，許平君也自然而然地被立為皇后。許皇后跟劉詢一樣，出身民間，雖然陡然富貴，卻沒有什么架子，平易近人，德行深厚。
然而霍光的妻子卻有別的想法，她認為，要鞏固霍家的勢力，皇帝身邊必須有自己的人，所以她就想著讓自己的小女兒霍成君當皇后。這么看，古代還是挺亂的，霍光是劉病已的爺爺輩，霍光的女兒就是劉病已的姑姑輩，霍夫人這么安排著實只是政治目的而已。
然而劉病已不是一個忘本的人，他對許皇后十分好，許皇后也沒什么過錯，因此霍夫人的計劃眼看就要落空了。可霍夫人不是個省油的燈，她壓根沒把劉氏皇族放在眼里，于是竟然買通醫(yī)官，趁許皇后生孩子的時候毒死了她。
由此可見，霍家當時有多么囂張跋扈。霍光當時還在世，漢宣帝只追究了醫(yī)官淳于衍的責任，而這個淳于衍十分恐懼，在受審的時候向霍光說出了實情。霍光內心驚懼，本來想追究自己妻室的責任，然而終究是念在夫妻情分把事情壓了下來。
這也是給霍家埋下了禍根。
三年之后，霍光病逝，漢宣帝劉詢給了他很多榮耀。又過兩年，有人把當年的案子暗地里揭發(fā)出來，報告給了漢宣帝。漢宣帝毫不留情，把霍家滿門抄斬，霍成君當時是皇后，被打入冷宮，十二年后自殺。長安城內，因霍家被牽連殺害的有數千人。
霍氏一族由此而衰。
當初劉詢剛剛登上皇位時，去祭拜漢高祖的廟，霍光陪同他，跟他坐在一輛車里。漢宣帝不知為何十分畏懼他，坐他旁邊感覺自己背上像有芒刺在扎一樣。這就是芒刺在背這個典故的由來，反而是另外一個大臣張安世陪同的時候，漢宣帝就非常放松。
霍家被滅族后，有人點評：“自己的威望讓天子感到不自在的人，是不會被天子長期包容的?；艏业膽K案，其實從當年霍光陪同皇帝乘車的時候就開始了?！?/p>
不過我并不完全認同，因為霍光和張安世都是位高權重的大臣，區(qū)別在于，張安世再來劉病已流落民間，生長掖庭的時候，就十分看好他。并且出于同情廢太子劉據的緣由，對這個皇孫十分疼愛，甚至要把自己孫女嫁給他。因此劉病已跟張安世的關系，是有基礎的。
但霍光不同，雖然他跟劉病已是遠親，但從劉病已的視角看霍光，那是一個高高在上的大家長角色，自己做事對和錯都由霍光評判，同時霍光還有三朝輔政大臣的權威在身，曾經廢立兩次皇帝。這都是讓劉詢作為一個最高統(tǒng)治者所不能忍受的，同時霍家的勢力在朝中也太龐大了，想到漢朝的前車之鑒，呂氏、竇氏、田氏、衛(wèi)氏，霍家有今天也并不奇怪了。