陈群连连摇头，反对道：“令君此言差矣，我世家利益因为有令君在，丞相才不敢大肆削弱，若是令君致仕的话，可谓群龙无首。”
钟繇也十分赞同陈群的观点，不过一边的荀粲心中却非常高兴，他觉得父亲致仕绝对是一个正确的选择。
荀彧的脸上带着一抹苦笑，他叹了口气道：“如今的丞相已不是当年的丞相了，北方已定，代表着北汉的基已稳，只有西凉韩遂、马超等负隅顽抗，西蜀刘璋怕是要被大耳贼算计了，而后天下三分，统一天下已不是一朝一夕之事，我荀家势大，可谓锋芒毕露，去年过世的堂兄仲豫又被汉帝器重，为丞相所忌，此时我不归隐，更待何时？”
钟繇面色凝重道：“令君莫非放弃这汉家天下了吗？”
荀粲此时在心中大骂这个便宜老师，眼看父亲就决定归隐了，你还在这里捣什么乱啊。
荀彧此时脸上出现了轻松的笑容，仿佛如释重负，他淡淡道：“我岂不知元常在想什么，如今这里没有其他人，我想说的是，在我们大世家眼中，谁当皇帝不都是一样的事情，管他汉室天下还是曹氏天下，谁更在乎我们大世家的利益，我们就支持谁，不是这样吗？”
陈群与钟繇都惊讶的望着放下一切的荀令君，此时的荀彧身上在也没有那种刻意的伪装，卸下一切的他用最潇洒的姿态来面对人生，陈群叹服道：“想不到令君心中却是这样的想法，可怜那些腐儒都被令君庄严正直的模样给骗了，不知令君以后的安排是什么？”
陈群与荀彧关系很不错，所以他在荀彧面前说话非常随意，而荀彧显然也不在意陈群那近乎调侃的话语，反正他是执意要激流勇退了，还在乎这世间的名声干什么，于是荀彧淡淡道：“长文不必忧虑，在我之后公达可为尚书令，我欲自任颍川书院院长。”
陈群疑惑道：“院长？请令君赐教。”
荀彧的脸上挂着一切尽在掌控之中的微笑，放下一切的他，对许多东西都有了深刻的认识，他淡淡道：“既然唯才是举令已不可阻挡，那我们世家大族就应该全力鼓动丞相采取科举制。”
钟繇似乎恍然大悟，他赞叹道：“妙哉，唯才是举可以令丞相大肆随意启用寒门弟子，而科举制却是要通过考试才能启用，考的东西自然是学问，而这却是我们世家掌控的东西……令君虽退避庙堂，但日后怕是朝中全是令君弟子，不过此谋算可谓正大光明。”
陈群也道：“此时我才知荀文若、公达、休若、友若、仲豫、当今并无对。”
荀彧只是慈祥的看着自己的幼子，此时在他的心中，什么功名利禄、士林名声，都比不上自己的儿子重要，他要培养出一个真正的智者，继承他谋略髓的人。
建安十六年春正月，庚辰，天子报：减户五千，分所让三县万五千封三子，植为平原侯，据为范阳侯，豹为饶阳侯，食邑各五千户。天子命公世子丕为五官中郎将，置官属，为丞相副。
同年初，侍中、守尚书令荀彧上表辞呈，言称年事已高，谋略不当，是以导致赤壁之败，曹起初不许，后彧言辞恳切，终许之。