“晚上把田大人找来，打扰田大人歇息，主要是事情太紧急太重大了。”霍光带着歉意说。
“大将军太客气了，能为您分担点事情，是下官的荣幸。”
“老夫与田大人不是外人，我就直说了吧！你看这当今皇上……”霍光欲言又止。
“是个无道昏君。”田延年脱口而出。
“你也是这样认为？”霍光惊喜问道。
“朝中大臣大多这样认为。”
“唉，选他为君，这是老夫平生办的最大一件错事，后悔不已啊！”霍光叹了口气说，“再让他继续胡作非为下去，必将危及大汉社稷、危及你我等朝廷臣官。老夫思虑再三，打算将他废掉。不知田大人如何？”
田延年正欲表态，看见冯子都端茶进来，欲言又止。虽然他知道冯子都是深受霍光恩宠的心腹，但此时谈的是废除当今皇上这样天大机密之事，田延年还是心存顾虑。
霍光明白田延年心思，脸上露出淡淡笑意。待冯子都出去后，又问道：“田大人认为可否？”
田延年早已感到刘贺不宜做皇帝，心里根本没有什么顾虑，便对霍光说道：“下官完全拥护大将军的果敢决断。大将军您是国家的柱石，您觉得这个人不适合做皇帝，那为什么不奏明太后，另立一位贤君？”
霍光明白田延年的言外之意，是建议自己打着皇太后的旗号行废立之事。但霍光心里清楚：眼下朝廷上下内外都明白，所谓的皇太后，只是一位十五六岁的小姑娘，又是霍光我自己的外孙女，以皇太后的名义行事，其实还是会认为是我霍光的主意。想到这里，霍光还是有点拿不定主意。
霍光沉默一会，向田延年问道：“我现在确实想这样干，但不知道历史上有没有类似的先例？”
田延年一听，马上回答说：“当年伊尹是商朝的宰相，为了国家的安定将商王太甲废黜，后世因此都称颂伊尹是忠臣。现在大将军敢于这么做，那便是汉朝的伊尹啊！”
霍光虽说被人称为“不学无术”，但“伊尹废太甲”这样著名的历史故事，听他父亲生前多次讲过，那还是知道的。他之所以首先找田延年再三征询意见，因为田延年不仅是他的亲信旧部、是掌握财经大权的重臣，而且还是一位敢作敢为的豪情侠胆之士。既然田延年明确表态支持他废旧立新，他便增强了底气、胆气和狠气，决意按照自己的既定计划行动了。
“好，老夫就把这件事情做了！”霍光站起来坚定说道，“为了让你能自由出入宫廷，更方便地参与大事，我给你加一个给事中的兼职。”
“感谢大将军信任。”田延年起身谢道。
于是霍光命田延年迅速去找车骑将军张安世和丞相杨敞，秘密商议谋划废黜刘贺，另立贤君。
废帝计划正在秘密地进行，刘贺还有阻止的最后机会，但他却因为他的性格品行永远错失了。
太仆副职太仆丞张敞，也就是著名成语“张敞画眉”的张敞，见刘贺行悖无道，很为朝廷前途担忧，就勇敢地向刘贺上书劝谏说道：“孝昭皇帝早逝，没有后嗣，朝中大臣因此忧虑惶恐，选择贤能圣明者承继帝位，到东方迎接皇上您进京之时，唯恐跟随您的从车行进迟缓。如今皇上正当盛年，初即帝位，天下之人无不擦亮眼睛，倾耳静听，盼望看到和听到皇上的良行善政。可是现在辅国的重臣尚未得到褒奖，而原来在昌邑国驾车的小吏却先得到升迁，这是个很大过失。”
“又是一个霍光的人。”刘贺接到看后，扔在一旁不理。
早上，刘贺照常外出游乐，被博士、光禄大夫夏侯胜看见。这个夏侯胜学问精深，是今文尚书学“大夏侯学”的开创者，为人刚直不阿、质朴守正。他跑步上前，挡在刘贺的车前进谏说：“皇上，天久阴却不下雨，是预示有臣下在谋算居上位者的征兆，皇上您还要到哪里去？一旦下臣他们作乱，皇上怎么办？”他意在暗示刘贺，朝廷局势恐怕有变。
“一个腐儒，竟敢对朕口出妖言。来人，将他捆了，交给御史府的官吏治罪。”刘贺大怒。
这是因劝谏被刘贺关押的第二人。在此之前，侍中傅嘉多次上书劝说刘贺，刘贺也令人将他绑起来关进监狱。
夏侯胜被捆绑送到御史府，御史府负责处理此事的官员连忙向御史大夫蔡义报告。御史大夫蔡义一听，感觉事大，连忙叫负责处理此事的官员赶快去大将军府向霍光报告。
此时，霍光正在与张安世商议如何废黜刘贺。张安世在田延年告知霍光决定废黜刘贺之后，便前来与霍光面谈。霍光见张安世同意他的计划，便与他进而商谈具体行动方案。
听完御史府负责处理夏侯胜的官员的报告，霍光心里大惊，连忙叫他在旁边屋里等侍。
“张大人，你怎么将这么重大机密的事情泄露了？”霍光一回到室内便生气地责问张安世。
“我绝对没有。”张安世起身回道。
“那夏侯胜怎么知道有人要废黜刘贺？”霍光问道。
“夏侯胜知道了？”张安世惊讶反问。
“是啊。”霍光示意张安世坐下后，将夏侯胜一事告诉张安世。
“那大将军可以将夏侯胜大人传来询问。”张安世建议。
“对。”
霍光说完出去，令在旁边屋里等侍的御史府官员将夏侯胜立即带来。
“夏侯大人，你怎么知道有人要谋算皇上？”夏侯胜一进来，霍光急切正色问道。
夏侯胜被今天的遭遇弄糊涂了，不知是怎么回事，但仍平静回答说：“回禀大将军，《洪范五行传》里说：‘君王不仁德有过失，上天就以久阴不雨来警示他，此时就会有臣下谋害君上。’我只是根据天气和经典对照推算，不敢把话说得太明白，只好说‘臣下有不利于皇上的阴谋’。下官整天呆在室内研读经典，并不确切知道有哪位臣官要谋算皇上。”
霍光闻言心里大惊，觉得此人有其特用，一定要网纳重用，从此他才真正重视精通经书的儒士。
“原来是这样。那夏侯大人何罪之有？”霍光认为夏侯胜劝谏皇上无罪，便令御史府官员将夏侯胜释放。
“谢大将军！”
“慢，夏侯大人，老夫想请你给太后讲授《尚书》，行吗？”在夏侯胜和御史府官员走了几步后，霍光说道。他想到群臣以后要向东宫上奏政事，太后要过问朝政，应该懂得点经术。
“这是下官的荣幸。”夏侯胜拱手说道。
御史府官员和夏侯胜走后，霍光和张安世仍心惊不已。
“如果朝中有人知道了我们的计划，定会告诉皇上，他肯定要惊觉，那时再行动就很可能出现危险。”霍光擦着汗说道。
“大将军说的对，为防不测，必须果断采取行动了。”张安世握着手说。
“好！”霍光和张安世立即决定：当晚派田延年告诉杨敞，让他知道以便共同行事；明天早朝后召集朝中官员，通告废黜之事以取得同意和支持；接着率领群臣面奏太后，请皇太后以皇太后之名下旨废黜昏君。
霍光为了麻痹刘贺，下午特地进宫，坐在殿门等着刘贺回宫。
“大将军，您找朕有什么要事？”刘贺跨上殿门前台阶，看见了霍光，高声问道。
“皇上，夏侯胜学问精深，为人刚正，对皇上忠诚可嘉，老夫认为不但不能关押，还应提拔重用。”霍光起身上前拱手说，他接着建议提升夏侯胜为主管皇太后宫的长信少府，赐予关内侯，增加千户的食邑封地，让他参与朝廷重大谋划决策。
刘贺见霍光如此示弱，心花怒放，说了句“好吧，就准大将军所奏”，随即转身，就去与他的一帮旧臣寻欢作乐去了。
望着摇头晃脑而去的刘贺，霍光脸上露出冷笑。