郭勋与夏言不和，结交霍韬一同对抗夏言，郭勋接连被言官弹劾，世宗准许他申辩，郭勋却不肯认错，触怒了世宗。这时，夏言的知己、给事中高时揭发了十几件郭勋贪赃枉法的罪行，世宗把郭勋关进了诏狱。顾鼎臣、霍韬相继去世，世宗恢复了夏言少傅、太子太师、礼部尚书、武英殿大学士的官职，让他等病愈入阁办事。虽然夏言还在病假中，但内阁的事务多由他裁定，郭勋的案件，就是按他的授意办理的。夏言任一品官满九年，世宗褒赞、赏赐他，恢复了他的全部官阶，在礼部为他举办宴会。这个时候，世宗虽然优待、礼遇夏言，对他的宠信已经不如当初了。
慈庆、慈宁两宫夫人去世后，郭勋曾经请求把其中一个给太子居住，夏言认为不合适，符合世宗的心意。到了这时，夏言又改变了主意，令世宗不快，郭勋下狱后，世宗曾下令释放他，夏言却又假传圣旨说不需要遵从这条敕令，且千方百计罗织郭勋的罪名，令世宗怀疑之前言官也是受到他的指使才弹劾郭勋。夏言与宦官高忠交好，高忠曾代夏言进玉器祝寿，这年，夏言又将世宗关于兴建大享殿，不需要写敕令文稿的话泄露给了高忠，因为这两件事，世宗认定他们互相勾结。
此外，夏言还僭制在西苑乘轿，世宗让到西苑值班的大臣用香叶巾束发，用皮绵做鞋子，夏言又认为这不是礼制规定的大臣服装，不肯接受。世宗不上朝时，夏言就不去内阁，而是在家办公，世宗积累了这几桩不满，想要罢他的官，因而严嵩得到了排挤他的机会。严嵩和夏言都是江西人，夏言入内阁时，推荐严嵩接替自己担任礼部尚书，把他当作门客来对待。严嵩表面上对夏言恭敬，暗中却怀恨在心，夏言失宠后，严嵩一边用谄言媚语逢迎世宗，一边与陶仲文合谋中伤、取代夏言的方法。夏言得知此事，便指使御史多次弹劾严嵩，世宗却不听，严嵩则向世宗哭诉夏言凌辱自己的情状，并揭发夏言的过错，世宗果然被激怒。
世宗写敕书给礼部，历数夏言的罪过，夏言惶恐不安，上书认错，并乞求告老还乡。八天后的七月初一，恰好发生日食，世宗认为这是下级欺慢上级的征兆，便下令将夏言革职闲住，并承认自己的三种过失，布告天下。当天，御史乔佑、给事中沈良才等人上书弹劾夏言，并因之前言官未能纠察夏言的行为，请求将自己罢职。世宗贬谪、降职了十三个言官，其中高时因曾弹劾郭勋，单单被重贬到遥远的边地，严嵩取代夏言，步入内阁。
夏言久居高位，生活奢侈，交游广泛，罢官之后，很久没有被起复，地方官待他也稍稍冷淡了。夏言心里闷闷不乐，每当元旦和世宗生日，他都会上表称贺，自称“草土臣”，世宗也渐渐怜悯他，恢复了他尚书、大学士的官衔。
世宗微微觉察到严嵩的贪婪和放纵，就召夏言回朝，夏言抵京后，世宗恢复了他的少师等全部官职，也加封严嵩为少师，像是与夏言并重的样子。夏言一回来，就凌驾在严嵩之上，批示公文一概不征求严嵩的意见，并大肆罢斥、放逐严嵩提拔任用的人。严嵩不敢直接与他作对，但对他恨之入骨，当时的士大夫正怨恨严嵩的贪婪狠毒，认为夏言能压制严嵩，因此深感痛快。然而夏言重回相位后，一心排除异己，被他罢官、治罪的多达十余人，其中包括唐龙、王暐、王用宾、何鳌等，而这些处罚不尽公允，因此朝中的士大夫开始畏惧夏言。
陕西总督曾铣请求出兵收复河套，夏言性格慷慨激昂，有志于建功立业，便支持此事。夏言继室的父亲苏纲与曾铣交好，极力向夏言称赞他，夏言认为依靠曾铣此事能成，就秘密推荐他，认为大臣中间没有比他更忠诚的了。世宗因为他的这句话，怀疑夏言徇私不忠，因此世宗虽然肯定了曾铣的壮勇，但要求他明年只备防御。
曾铣出塞袭击河套地区的蒙古部族，取得了胜利，曾铣第二次上疏请求收复河套，奏疏中提到了当地军费、将才、武器、士卒、训练度无一不缺，世宗据此认为出兵复套并非上策。到了七月，曾铣再提复套事宜，预算高昂，在他的一再坚持下，世宗下令诸将官讨论复套事宜。世宗因群臣一致同意复套，态度转变了，他再三夸奖曾铣，命兵部详细地讨论复套方案。曾铣受到鼓舞，更加坚决地出兵作战。咸宁侯仇鸾因被曾铣弹劾，被世宗下令逮捕，然而兵部之议未能回答后勤来源、胜利把握等关键问题，世宗又重新坚定了不宜复套的看法，于是他下诏书责备群臣，语气很严厉。
当时，严嵩正在伺机扳倒夏言，夏言对世宗身边的小宦官盛气凌人，严嵩却礼遇并贿赂他们，所以这些宦官总是在世宗面前称赞严嵩、贬低夏言。夏言进献的青词往往不合世宗的心意，严嵩就越发认真地撰写青词，到了这个时候，严嵩揣测世宗的心意，就力主河套不可能收复，并称夏言对国事出力甚多，而自己丝毫没有参与，请求将自己罢免。夏言非常害怕，谢罪认错，辩称严嵩此前并未表示反对，世宗批评夏言胁迫君主和群臣。于是，严嵩得以直言夏言独断专权，夏言也极力辩解，然而世宗已被严嵩的诬告蒙住，难以消除怒气，他停止了一切关于收复河套的讨论，让夏言以尚书的身份致仕，削夺了他的其他官职。
最初，世宗没有杀夏言的意图，夏言陛辞，登船离京，有流言蜚语传入宫中，说夏言临走时埋怨、诬蔑世宗。严嵩又代仇鸾起草上书，弹劾曾铣战败不报、贪墨军饷，并托苏纲行贿夏言来隐瞒罪行。世宗下令逮捕曾铣、苏纲，命锦衣卫查证战败不报、贪墨军饷的事宜。在进行审讯后，锦衣卫都督陆炳上报说仇鸾的弹劾都属实，于是世宗令苏纲到边远地区充军，并派锦衣卫逮捕夏言。不久，司法部门拟定了曾铣的罪名，称没有合适的罪名概括他犯的罪，请求类比守边将帅失守城寨的罪名将他斩首，世宗说曾铣犯的罪非同寻常，下旨重拟。于是，司法部门说，曾铣适用于串通内阁官员的罪名，世宗同意了。
夏言被逮，抵达通州，听说曾铣的罪名，大惊失色，他上书诉说自己的冤屈，历数严嵩伙同京山侯崔元诬害自己的七大奸谋，并通过时间线论证了所谓仇鸾的奏疏是严嵩伪造的。此外，夏言还揭发了严嵩贪赃枉法的罪行，指斥他言行不一、奸诈弄权、心怀不轨，希望世宗能保全自己的性命。但世宗收到他的辩疏后，并未醒悟，案件已定，刑部尚书喻茂坚、左都御史屠侨等当他将被处死时，援引高官能吏可以被减免刑罚的条款，请求免除夏言的死刑。
世宗不愿听，批评、处罚了喻茂坚等人，夏言在西市被斩首，时年六十七岁，他的妻子苏氏流放广西，侄儿夏克承、侄孙夏朝庆都被削职为民。穆宗继位后，对夏言予以昭雪，复官吏部尚书，赦免他被流放的家人，经夏言家人上书申请，穆宗下诏尽复其故官，并赐祭葬，追谥“文愍”。
