当时，孝宗正锐意太平，而以刘健为首辅，马文升以师臣领导六部，史称“众正盈朝”。孝宗察知刘大夏正直严谨，并且办事熟练，尤其信任他，数次召见他判别事情，刘大夏也在各事上为孝宗尽力。
大同发生小的战事，孝宗听信宦官苗逵的话，准备出兵。内阁刘健等竭力劝阻，孝宗仍犹豫不决，召刘大夏问道：”卿在两广，知道苗逵捣毁延绥巢穴的功劳吗？”刘大夏答道：“臣听说，俘虏十几个妇女儿童而已，托朝廷威德，全师返回。不这样的话，后果就难说了。”孝宗沉默好久，问道：“太宗频频出塞，现在为什么不行？”刘大夏回答：“陛下的才干固然不比太宗差，而将领士马远不及太宗时期。像淇国公丘福稍许违背节制，将数十万兵众委之于沙漠，怎么能说是容易之事。臣揣度现在上策只有防守而已。”都御史戴珊也从旁边表示赞同，孝宗醒悟地说：“要不是你们劝说朕几乎误了大事。”于是果然没再出兵。
庄浪土着首领鲁麟任甘肃副将，求升大将不成，恃其部众强，擅自回到庄浪。廷臣担心其生变想授鲁麟大帅印，又想召他回京师，安置在不紧要的地方。刘大夏请求奖励其先世忠顺，而听任鲁麟闲居。鲁麟向来凶狠残暴失去众人之心，没有兵权无法有所作为，最后闷闷不乐而病死。
孝宗要在京城附近驻兵作为左右辅佐，刘大夏说：“保定设都司统率五卫，祖宗之意也是如此。请遣还操练军士，一万人作为西卫，将驻扎在密云、蓟州的军队作为东卫。”孝宗批准了。监督京营的宦官怨恨失去兵权，在宫门上贴小字报。孝宗以此给刘大夏看，并说：“宫门外人岂能进来，必定是某些不愿失去兵权的人所为。”由此，阴谋未得逞。
孝宗曾经对刘大夏说：“遇到事情总想召卿来商量，又担心超越卿职权范围而作罢。以后有事情的实行或罢止，卿用揭帖文书呈上来。”刘大夏磕头说：“对事情的决定，外边的交付政府部门，内部的向阁臣咨询就行了。揭帖易滋长弊病，不可作为后世效法。”孝宗称好。又曾问；“天下何时太平？”刘大夏答：“求治不能太性急，不过用人行政全都与大臣面议，恰当的再实行，时间长了天下自然太平。”刘大夏曾经趁机提到四方镇守宦官的危害。孝宗询问详情，刘大夏答道：“臣在两广见到诸文武官的供应比不上一个镇守，其耗费可知。”孝宗说：“祖宗设置这些已很久，怎能一下子革除。不过从现在开始必须像郑原、麦秀那样廉洁的才能任用，不然则罢免之。”刘大夏磕头称好。刘大夏每次被召见，跪在御床前，孝宗往左右一看，近侍都退避走了。刘大夏曾有时回答问题时间长了，疲惫得起不来，孝宗就喊司礼太监李荣扶他出去。一天早朝，刘大夏本该当班，孝宗碰巧没见到他，第二天告诫刘大夏说：“卿昨天未上朝吗？担心御史纠察，没有立即召见您。”其受孝宗宠爱如此深，特别赐他玉带、麒麟服，送金币、上等醇酒，岁时不断。
孝宗去世后，武宗即位，刘大夏奉遗诏请求撤去非定额内的四方镇守宦官，武宗只撤去均州齐元，刘大夏又主张应撤去镇守宦官二十四人，又奏减皇城、京城守卫宦官，都未被接受。不久，刘大夏列举应当淘汰的传奉武臣六百八十三名，被批准。大汉将军薛福敬等四十八人也该削去官职，薛福敬等故意不入宫侍奉来激怒武宗。武宗立即命恢复薛等官职，而要求兵部回答详情，意欲加罪，宦官宁瑾磕头说：“这些是先帝遗命，陛下列入登基诏书，不宜问罪。”武宗才放弃追查此事。宦官韦兴在成化末年因有罪被长期罢官，这时靠巴结得以镇守均州。言官纷纷谏阻，刘大夏等再三争辩，武宗都不理。刘大夏又奏道：“镇守宦官，如江西董让、蓟州刘琅、陕西刘云、山东朱云贪婪残暴尤其厉害，请求审查惩处。”武宗不高兴，刘大夏知道自己意见不被采纳，数次上奏章请求辞官。
武宗下诏加封他太子太保，同意他返乡赐敕书、车马返回，按旧制供应粮食和役仆，给事中王翊、张襘请求留住刘大夏，吏部也要求留刘大夏，武宗不理。
刘大夏忠实诚恳，为孝宗所信任，忘我报国，对权贵近幸多行抑止，曾经要求严格考核勇士，为刘瑾所恨。刘宇也恨刘大夏，就与焦芳一起在刘瑾面前进谗言道：“抄刘大夏的家，可得边费的十分之二。”借田州岑猛的事，将他逮捕下到诏狱，刘瑾要以激变罪判大夏死刑，都御史屠滽不同意，刘瑾谩骂道：“即使不死，可以不去戍边吗？”李东阳从中调解，刘瑾探知刘大夏家贫穷，就判其到最偏僻的边境戍边。起初拟戍广西，焦芳说：“是送他回去吗？”于是改戍肃州。
刘大夏已有七十三岁，穿着布衣徒步经过大明门磕头而去，观者都叹息流泪，父老百姓携筐送吃的，刘大夏所到之处，人们为之罢市、烧香祝刘尚书生还。等到了戍所，各部门怕得罪刘瑾，不送食品不来慰问，儒学生徒送吃食给他，一到操练，刘大夏总是扛戈站进队伍。主管人再三推辞，刘大夏说：“军人本来就该服役的。”他只带来一个仆人，有人问他为什么不带子孙，他说：“我为官时，不为子孙捞好处，现在年老被罚，怎忍心令他们同我一起死在戍所呢？”刘大夏已经遣去戍边，刘瑾还借其他事二次罚他送米塞上。
刘大夏被赦免返乡，刘瑾被诛杀，恢复他官职，后退休，清军御史王相请求恢复刘大夏月粮和年役，录用其子孙，主事的宦官始终恨他，不答应。刘大夏回家后，教子孙种田谋生。稍有盈余，就分送给故旧宗族。预先自作墓志铭，并说：“不要让人用饰美之词，让我怀愧于地下也。”
刘大夏去世，享年八十一岁，追赠太保，谥号“忠宣”刘大夏能诗，有《东山诗集》、《刘忠宣公集》等传世，《皇明经世文编》辑录有《刘忠宣集》一卷。
