严世蕃作为大奸臣严嵩的儿子，虽然人长得矮小肥胖，还只有一只眼睛，但据说脑子非常聪明，号称鬼才。据史书上记载，严世蕃的聪明，主要体现在两个方面，一是他有过目不忘的本领，二是他善于揣摩嘉靖皇帝的心思，而且每每都能够猜中。
据说，嘉靖皇帝喜欢看经史类书，遇见不明白的地方，就用朱笔写在纸上，令太监交给严嵩、徐阶等人讲解。但有一次，嘉靖皇帝写出来的问题，严嵩、徐阶等内阁大臣都不明白其中之意，因此惶恐无措。
这时，严嵩安慰众人说：“不用怕！”随即抄录皇帝所问，令人飞马送回相府，要养世蕃立马作答。严世蕃看到问题后，当即指出此语在某书第几卷第几页，做何解释，立即回报。严嵩等人找来该书翻检，果然如此，于是按其解释写好交给皇帝，嘉靖皇帝看了非常高兴。
还有一次，嘉靖夜传圣旨，询问某事当如何处理，很难定夺。严嵩和徐阶等商议半天，每人各写一帖处理意见，可是反复斟酌，始终不敢回复皇上。严嵩只好派人飞马向严世蕃求教，最后严嵩按照严世蕃的回帖抄录交上去之后，嘉靖又非常满意。
于是，严嵩就有了句非常有名的口头禅：“等我与东楼小儿计议后再定”！这东楼小儿正是严世蕃，由此可见严世蕃的对严嵩的重要程度。
另外，据说严世蕃的聪明不仅于此，在《明朝那些事儿》中，还特意说了一件足以证明他很聪明的事情，这件事情就是害死内阁首辅夏言，为父亲严嵩上位铺平道路。
当时夏言正值首辅，严嵩还只是次辅，但因为严嵩备受嘉靖宠幸，所以就有些嚣张，没有把夏言放在眼里。
于是夏言就准备找机会收拾一下严嵩，而很快，夏言就发现了严嵩的一些贪污腐败的证据，他准备向嘉靖帝汇报。严嵩得知消息后顿时慌了神，他准备拿出一批珠宝来贿赂夏言，但当严世藩得知此事后就极力阻止，他建议直接去夏府认错，他告诉严嵩，夏言一定会念在这么多年同朝为官的感情上手下留情。
于是，严世蕃就陪着父亲严嵩一起到夏言的府上哭泣认错，两人跪在夏言面前一把鼻涕一把泪，最后夏言于心不忍，就没有向嘉靖汇报严嵩贪污腐败的事情。而随后，严世蕃通过拉拢锦衣卫指挥室陆炳，让他和严嵩两人联手，共同诬陷夏言与边防将领私下来往密切，最终害得夏言被杀，严嵩也从此成为大明朝的首辅。
如果从表面上看，似乎严世蕃确实很聪明。但其实呢，夏言被杀的真正原因，是因为以他为首的文官集团逐渐做大，大有和嘉靖分庭抗礼的趋势，在这个关键时刻，夏言作为首辅，又和军方高级将领来往密切，这触碰到嘉靖的底线，于是嘉靖就想让听话的严嵩取代夏言。
在这种背景下，作为锦衣卫指挥室的陆炳才敢跳出来和严嵩联手打击夏言，而嘉靖也正好借河套事件将其处死，从而对文官集团进行打击。
至于当初夏言放过严嵩，也不是严世蕃让父亲严嵩去找夏言认错求情的缘故，而是因为单靠所谓的贪污腐败这条罪状，根本治不了严嵩的罪。因为，当一个人混到国家最高级别的官员时，又有谁会是真正因为贪污腐败而被治罪。当时嘉靖正把严嵩当成是自己的嫡系小弟在培养，怎么可能因为这种小事而处罚他呢？
所以，在这个过程中，严世蕃并不是主要的谋划者，他不过是充当的帮凶而已，实在不足以证明他有多聪明。至于严世蕃所谓过目不忘的本领，其实也是吹出来的，因为严世蕃真有本事，不会连个进士都考不上，最后靠他老爹的关系才在朝廷里当官。
当然，考不上进士不代表他不聪明，但问题是，如果严世蕃真有过目不忘的本领，按照明朝八股文的科举考试，他想考中进士，实在不是什么难事。
或许有人说，严世蕃不屑于考进士，这种说法显然是经不起推敲的。因为从宋朝开始，考中进士那就是文臣最大的荣誉，一个人如果不是进士出身，即便他官当得再大，也会被人瞧不起的。
从这层意义上说，严世蕃显然并没有所谓过目不忘的本领。至于他的那些所谓的聪明事迹，其实更多是严嵩为了捧自己儿子上位，所夸大吹嘘出来的。事实上，严世蕃真正最牛逼的地方，是他为了讨好嘉靖，敢于去得罪裕王。
大家知道，裕王是嘉靖的世子，也是将来的皇位继承人，当时嘉靖因为过分打击文官集团，结果让文官集团都站在裕王的背后。这样一来，随着裕王的势力越来越大，嘉靖很不舒服，所以他需要有人来帮他敲打裕王、限制裕王。
但问题是，裕王那是大明朝未来的皇帝，虽然帮助嘉靖打击裕王，可以获得暂时的飞黄腾达。但从长远来说，一个人把大明未来的皇帝给得罪死，他还有前途可言吗？加上当时嘉靖已经当了快三四十年的皇帝，又已经五十多岁，从正常情况下，随时都有可能驾鹤西去。
在这种背景下，就更没有人敢随便来敲打裕王，即便是最善于揣摩皇帝心思的严嵩，都不敢把事情做得太过分，生怕把裕王得罪死。但是，严世蕃却是不管不顾，心甘情愿当嘉靖的走狗和鹰犬，处处公开与裕王做对，几次逼得裕王都不得不向严世蕃认错讨好。
对此，嘉靖很满意，所以严世蕃自然能够飞黄腾达，其风光和权势都一度超过了他爹。客观来说，严世蕃的这种行为，虽然很聪明，因为他能够果断抓住机会，做大家都不敢做的事情，于是很快脱颖而出。但问题是，这样做真的明智吗？
从最后的结果看，严世蕃充其量就只能算是小聪明，而非大智慧。因为，严世蕃奋不顾身的冲在最前面替嘉靖压制裕王，最后嘉靖在去世的前一年，却为让儿子能够顺利掌权，同时缓和父子之间的关系，直接借口谋反将严世蕃给处死，严世蕃就此成为一颗弃子。