汉武帝问张汤，张汤说：“他是个愚蠢的儒生，没有知识。”狄山说：“臣下的确是愚忠，但象御史大夫张汤那样，却是诈忠。如张汤审理淮南、江都王谋反的案子，以恶毒的文辞肆意诋毁诸侯王，离间宗室的骨肉之亲，使蕃臣内心不安。臣因此知道张汤为诈忠。”于是，汉武帝面带不快对狄山说：“我让你担任一个郡的长官，能不能不使匈奴人入境抢掠？”回答说：“不能”。再问：“负责一个县呢？”回答说：“不能。”又问：“负责一个烽障呢？”狄山知道再说不能，便会被治罪，只好说：“能。”于是，汉武帝派狄山到边境负责一个烽障，一个多月之后，匈奴人砍了狄山的头以后离去。从此以后，群臣震慑，不敢再谈和亲。
张汤的门客田甲，虽然是个商人，但有很好的品德。当初张汤任小吏的时候，因为金钱的关系而互相往来，及至张汤当了大官，田甲又曾责备张汤行事中的过失，也表现出忠正刚烈之士的风范，张汤在担任御史大夫第七年的时候，终于被免官治罪。
河东郡人李文，曾与张汤有隔阂，不久担任御史中丞。为了泄愤，多次在上奏的文书中寻找对张汤不利的证据，都没有得逞。张汤有个心爱的属吏名鲁谒居，知道张汤对李文不满，便指使他人上奏影射李文有图谋不轨的奸邪之事，汉武帝将此事交给张汤处理，张汤将李文处以死罪。实际上他心里明白此事是鲁谒居所为。武帝问起这件事说：“告发李文图谋不轨的事是怎么引起的？”张汤假装吃惊的地说：“这大概是因李文以前的熟人怨恨引起的。”鲁谒居患病住在里巷的一户人家，张汤亲自去探望，并为鲁谒居按摩双足。
赵国靠冶炼铸造营利，赵王刘彭祖多次指控铁官，张汤却每每排斥赵王，赵王寻查张汤的不可告人之事。鲁谒居曾审理赵王的讼案，赵王对他心怀怨恨，上书告发说：“张汤是朝廷大臣，掾史鲁谒居有病，张汤却亲自到他那里为其按摩双足，我怀疑他们可能有什么大阴谋。”此事下到延尉审理，鲁谒居因病而死，事情牵连到他的弟弟，被拘押在导官那里。张汤也到导官的官衙审理其他囚犯，见到了谒居的弟弟，欲暗中帮助他，表面却装作不认识。
鲁谒居的弟弟不知道他的用意，因此怨恨张汤，指使人上书告发张汤与鲁谒居的阴谋，共同以图谋不轨的罪名告发李文之事。汉武帝将此案交给减宣处理，减宣曾与张汤不和，接手此事后，穷追狠治，并且不向武帝进奏。正巧有人盗走了汉文帝陵园的下葬钱，丞相庄青翟上朝，与张汤相约一起谢罪。至武帝面前，张汤暗想，只有丞相在四时到各国陵拜祭，此事只应由丞相请罪，他自己并不参与其事，没有必要承担责任。丞相谢罪后，武帝派御史审查这件事，张汤欲图奏报说丞相知道盗钱之事，丞相庄青翟深感恐惧，丞相府的三位长史因此准备打击张汤，以罪名陷害他。
长史朱买臣素来怨恨张汤，张汤当时任小吏，要跪拜者请朱买臣等上前。不久，张汤任廷尉，审理淮南王谋反的案件，排挤庄助，朱买臣对此心怀不满。及至张汤升任御史大夫，朱买臣以会稽太守升任主爵都尉，处于九卿之位，数年之后，因为触犯法令被免官，降职为守长史。他曾去拜见张汤，张汤高傲地坐在床上，他的府丞和掾史对朱买臣也没有礼貌。
朱买臣，楚地的士人，对此深为怨恨，常欲置张汤于死地；王朝，齐地人，因为懂得方术，官至右内史；边通，学战国纵横家的说人之术，是个性情刚烈强悍的人，两次任官至济南王国相。他们的地位都曾比张汤高，不久失去官位，任守丞相长史，只好在张汤面前委曲求全、张汤多次代行丞相职权，知道这三位长史一向尊贵，所以常故意凌辱他们。
因此三个长史合伙谋划说：“当初，张汤与丞相相约向汉武帝谢罪，不久却出卖了丞相；如今又欲以宗庙之事弹劾丞相，这是欲留取代丞相的地位。我们知道张汤的不可告人之事。”他们派属吏逮捕审讯了张汤的友人田信等，说张汤向武帝奏报提出建议，田信都事先知道，因此屯积取利，与张汤平分。
他们还说张汤有其他奸邪之事、这些话很快传到武帝那里，汉武帝向张汤说：“我有什么打算，商人都事先知道，加倍屯积货物，这都是因为有人把我的计划告诉了他们。”张汤听后，没有谢罪，还惊讶地说：“肯定是有人这样做。”减宣又上奏了鲁谒居之事。汉武帝果然认为张汤心中险诈，当面撒谎，派使臣带着簿籍以八项罪名指责张汤，张汤一一予以否认，不服。
于是，汉武帝又派赵禹责备张汤。赵禹见到张汤后，责劝张汤说：“阁下怎么不懂分寸，您审讯处死了多少人，如今人们指控你的事情都有根据，圣上很重视你的案子，想让你自己妥善处置，为什么要多次对证呢？”张汤于是上疏谢罪说：“张汤没有尺寸的功劳，从刀笔吏起家，因得到陛下的宠幸而官至三公，没有任何可开脱罪责之处。然而阴谋陷害张汤的，是丞相府的三位长史。”于是，自杀身死。
张汤死后，家里的财产不超过五百金，都是得自皇上的赏赐，没有其他产业，他的兄弟之子要厚葬张汤。张汤的母亲说：“张汤作为天子的大臣，被恶言污蔑致死，有什么可厚葬的！”遂用牛车装载他的尸体下葬，只有棺木而没有外椁。汉武帝知道后，说：“没有这样的母亲，不能生下这样的儿子。”因此将三位长史处以死罪，丞相庄青翟被迫自杀，释放了田信。武帝很为张汤之死惋惜，晋升了他的儿子张安世的官职。
