五月底，七十多岁的韦贤做了五年刚好一届多的丞相，感到朝廷即将腥风血雨，就以年老多病向朝廷请求辞官。宣帝挽留一番后，批准并赏赐他一百斤黄金、一处府第和一辆由四匹马拉的安车。
韦贤开了西汉丞相在任上辞职的先河，他辞官回归故里后于八十二岁时死去，朝廷赐他谧号为节侯。
六月初，宣帝相继任命魏相为丞相，丙吉为御史大夫，疏广为太子太傅，疏广兄长的儿子、太子家令即总管疏受为少傅。
疏广、疏受俱受宣帝器重，数获赏赐，朝廷称之为“二疏”。但叔侄二人后看到朝廷将霍氏灭族的腥风血雨，五年后坚决辞官回家，将皇上和太子所赐黄金遍赠乡里，创办私学。“二疏”去世后，乡人在其宅址上筑方圆三里的土城，取名为“二疏城”；在其散金处立碑，名“散金台”；在二疏城内建二疏祠，世代祭祀不绝。
朝廷的腥风血雨一天一天到来。
夏天，长安下了一场大冰雹。大鸿胪属官大行丞萧望之感到自己向霍光报复的机会来了，上疏要求宣帝安排接见，当面申说灾异之意。
宣帝自在民间已闻萧望之之名，也知道他与霍光的过节，赐座后便要他直言相告，不必隐讳。
萧望之一见宣帝这个态度，就开口直说：“皇上，《春秋》记载昭公三年，鲁国下了大冰雹，这时季氏专权，最后赶走了鲁昭公。假如鲁国的国君看清楚了，是不会有这个灾害的。现在陛下思考政事寻求贤人，如同尧舜一样用心。但是好的兆头未到，阴阳又不协调，这是大臣把持朝政、一姓独揽权力的结果。小臣建议皇上早作预防，事先动作。”
这显然是针对霍氏专权说的，宣帝就任萧望之为谒者，专门负责皇宫传达接待事务。宣帝正广泛延揽贤能才俊之人，看到很多百姓上书朝廷提建议，就将官民的上书交给萧望之全权审查处理。萧望之对宣帝揣摩心理很透，提出的处理意见都很合宣帝的心意，一年中接连提拔为谏大夫、丞相司直，辅佐丞相纠举不法，成为二千石级的大官，实际上就是协助丞相魏相专门观察和防范霍氏势力。
到了十月，宣帝开始剪除霍氏家族的势力了。他颁布诏书说：“先前在九月十九日发生地震，使朕非常恐惧。如有能指出朕的过失，以及各郡、国举荐的‘贤良方正’和‘直言极谏’之士，要匡正朕的失误，对有关高级官员的错误也不必回避！由于朕的品德不足，不能使远方的蛮族归附，因而边境的屯戍事务一直不能结束。如今又调兵增加边塞屯戍力量，使百姓长期劳苦不止，不利于天下的安定。解散车骑将军张安世、右将军霍禹所属的两支屯戍部队！”
他在撤去霍禹右将军统领的驻军官兵后，紧接着将霍禹由右将军升为为大司马，免去右将军职务，这是用无实权的大司马官号虚尊嘉赏，实际上剥夺了霍禹的兵权。
二
这时的霍家完全没有意识、或者说没有理会宣帝的警示，依旧仗势放纵张狂、骄横奢侈、胡作非为，接二连三做出严重违规越制之事。
霍禹继承父亲霍光的爵位博陆侯以后，把霍光在世时自己设计的坟地改建更加奢侈宏大，修建了三个出口阙门。阙是中国古代城门、宫殿或者陵园的一种标志性建筑，多为土木结构，楼基和墩台均系夯筑，外用砖包砌，墩台上面建楼。阙制中最高等级的三出阙是天子规格的礼仪，一般耸立在帝王居住的宫廷大门前面，是天下独尊的标志性建筑。修筑墓前道路，北至高祖母冢园昭灵馆，南至宣平侯冢园承恩馆，大肆装饰祠堂，通行辇车的专用道一直通到陵墓穴中的长巷里，又拘禁一些赎了身的官奴和婢妾来看守。
霍显大规模地兴建府第，制造同皇太后御用规格相同的人拉辇车，以饰有图案的锦绣装饰车座扶手车身镀上黄金，用熟牛皮包住车轮，内填棉絮，以减轻行车时震动，让奴婢们用五彩丝条拉着车辇，载着霍显在府里游玩。
霍光在世时，霍显与冯子都早就发生了暧昧关系。霍光死后，寡居的霍显便与冯子都走出了最后一步，一对奸男淫女干脆同住一室恣心纵欲，两人蜂狂蝶乱、狗走狐淫，甚至连府中他人也不掩避，白天两人淫乱之声传于窗外。
霍禹与霍山、霍云也同时扩建住宅房屋，叔侄三人常常在上林苑中的跑马场平乐馆中纵马奔驰追逐。
霍云每当朝会的时候，多次称病私下外出，带着很多宾客，在黄山苑囿中张网围猎，却委派奴仆拿着名片代他上朝谒见，也没有人敢责备他。
霍显和她的几个女儿，日夜出入霍光外孙女上官太后所居的长信宫中，当作自己家园一样，心中根本没有时间和次数的概念。
总管冯子都，依仗霍光对他的宠信，一贯在京城横行霸道、为非作歹，干着欺男霸女的勾当，霍光死后，他也没有任何收敛。对此，东汉诗人辛延年曾写过乐府《羽林郎》，对冯子都调戏凌辱卖酒胡姬的无耻恶行进行鞭挞讽刺。
昔有霍家奴，姓冯名子都。
依倚将军势，调笑酒家胡。
……
一天，冯子都带着霍家奴仆王子方等出门游玩，与魏相家的奴仆在路上相遇，互不相让，争夺道路，引起冲突，冯子都等霍家奴仆人多，打伤魏相家的奴仆，觉得还不解恨，又打上魏相家府门。王子方踢开魏家大门，一伙人闯入魏相府中，直到魏相出来向冯子都叩头道歉，方才离去。
“那魏相当个丞相有什么了不起，老子今天打了他的奴仆，打到他家里，还要他亲自出来叩头道歉，我看他就是个软蛋！”冯子都回到霍家府中，得意洋洋地对霍显说道。
“好！冯总管，你干得好！”霍禹拍着巴掌说。
霍显虽很骄狂，但知道此时魏相的地位和厉害，听冯子都这么一说，生气地在冯子都后背打了一掌说：“你啊你，你今天给我霍家闯祸了。”
“不用怕，没什么了不起！”霍禹挥手说道。
魏相和萧望之可以经常在宣帝闲暇时受到召见，平恩侯许广汉可以径自出入宫廷，官吏百姓可以不经过尚书直接向宣帝呈递秘密奏章，这些都使霍氏一家人极为恼恨。
霍显找来霍禹、霍云、霍山，忧虑说道：“现在你们没有继承到大将军的事业，霍家也没有以前的地位了。可这魏相御史大夫兼给事中，还做了丞相，还有那个萧望之，也已经成为纠举不法官员的二千石级大官。他俩都是在心里仇恨大将军和霍家的人，一旦他俩在皇上那里说我们霍家的坏话，你们还有什么办法能救自己吗？”
众人不语。
宣帝时常听到霍家没有理会他的警示，仍然放纵张狂、骄横奢侈的奏报，魏相又进宫面奏霍家总管冯子都带人打上自己府里，萧望之又密奏关于霍显指使女医毒死许皇后的种种传闻，决定进一步采取行动了。
过了几天，宣帝诏令将霍光的六女婿度辽将军、未央宫卫尉、平陵侯范明友调任光禄勋，将霍光的三女婿中郎将、羽林监任胜调出京师，任安定郡太守。
几个月之后，宣帝又将霍光姐姐的女婿给事中、光禄大夫张朔调任蜀郡太守，将霍光的孙女婿中郎将王汉调任武威郡太守。稍后，又将霍光的二女婿长乐宫卫尉邓广汉调任少府，改由张安世为卫将军，领未央、长乐两宫卫尉，将长安十二门的警卫部队和北军交给张安世管辖统领。任霍禹为大司马却不让他照汉制戴大司马冠武弁大冠，而贬戴小冠，且不颁给印信、绶带。又将范明友的度辽将军印信和绶带收回，只让他担任光禄勋一职。霍光的四女婿赵平任光禄大夫、散骑都尉，统领护卫皇帝的骑兵和屯戍部队，就把赵平的骑都尉印信和绶带收回。所有统领胡人和越人骑兵、羽林军以及未央、长乐两宫卫所属警卫部队，都改由宣帝所亲信的原皇后许平君和祖母史良娣两家亲属统领。
宣帝采取这些措施后，霍氏家族成员手中从此就失去了处理朝廷中枢政务、统领京城皇宫警卫和国家各地军队的权力了。
霍禹就以身体有病不去上朝理事相抗。
他以前的长史任宣听说他病了不能上班，一人前来探望问候。
一番寒暄之后，霍禹叹气说道：“唉，我哪里有什么病啊！当今皇上不是靠我家大将军怎么能到现在的地步，如今大将军坟墓上的土还没有干，他就一律疏远排斥我们霍家，夺了我的兵权，还没收了我的官印。”
“大司马，下官……”
任宣正欲劝说，又被霍禹打断。他愤愤说道，“他打压我们霍家，重用许、史两家，现如今许、史两家的大量人员在朝廷担任要职，把外祖母王媪赐“博平君”称号，把舅父王无故和王武先赐关内侯爵，接着又分别封为平昌侯、乐昌侯，我算了一下，短短十天时间，对王家的赏赐就以万万计。”
任宣见霍禹对宣帝怨恨很深，这样下去十分危险，就恳切劝道：“大将军病逝了，他的时代也就结束了，您霍家再不可能把持国家权柄，将生杀予夺操在手中。廷尉李种、王平、左冯翊贾胜胡以及车丞相的女婿少府徐仁，都因冒犯大将军的意旨而被下狱而死；使乐成这样的小户人家子弟因为受到大将军宠爱官至九卿，爵为列侯；朝廷官员很多只事奉冯子都、王子方等人，根本不把丞相放在眼里，这些现在都不可能了。如今许、史两家是天子的骨肉姻亲，得到尊贵正是理所当然，这是各自有自己的时代。大司马您如果因此而心怀怨恨，还外露于行，我认为这就不应该了。”
任宣的意思很明确：一朝天子一朝臣，各领风骚数十年；识时务为俊杰，认现实求平安。
霍禹听后沉默不语。过了几天，霍禹才怏怏去上朝处理事务。
地节四年（公元前66年）五月，山阳郡、济阴郡两地下了一场冰雹，如鸡蛋般大小，深二尺五寸，有二十多人被冰雹砸死，当地的飞鸟全部丧生。
接到奏报，宣帝借机敲打霍氏家族，他在所下的一封诏书中说：“父子之亲，夫妇之道，是出于天性。虽有祸患，仍愿舍身与冒险相救。真诚的爱结于心，仁厚出于自然，这是不可能违背的啊！从现在起，凡儿子为首藏匿犯罪的父母，妻子藏匿犯罪的丈夫，孙子藏匿犯罪的祖父母，都可以不问罪。另如父母匿犯罪的儿子，丈夫匿犯罪的妻子，祖父母匿犯罪的孙子，罪不致于死的，都要上报廷尉与奏明皇上后再行决断。”
宣帝在诏书中这样说，除了继续贯彻他的“尚德缓刑”的理念外，还有一个用意，他暗示霍禹等霍家子女，只要退出权要部门回家后从此收敛约束，包括毒杀原皇后在内的罪行都可以宽赦不究。