李吉甫与李绛数次当着宪宗的面争论，而另一位宰相权德舆却夹在中间不置可否，宪宗鄙薄他的骑墙做派，将他免去相位，把前宰相、西川节度使武元衡调回朝中，继任担任宰相。
与李吉甫刻意讨好宦官的做法不同，李绛极为反感宦官，曾当众陈述吐突承承璀的专横跋扈。宪宗当时想要拉拢文臣，对他表示了支持态度。而宦官也因并未触及他们的整体利益，没有过分追究。
元和七年（812年），吐蕃进犯泾州，李绛提出把驻扎于边陲的神策军各部转隶给邻近藩镇，以便统一指挥。
神策军是皇帝直接掌握的武装力量，其军事首长自德宗开始已全部由宦官出任，是宦官最为看重的利益。如果说针对吐突承璀只是个人之间的好恶，但此举无疑触动了宦官集团的整体利益。这些人散布于宪宗身边，与宪宗朝夕共处，有的是手段让宪宗对李绛产生反感。
元和八年（813年）七月，河套地区黄河泛滥，冲垮了位居漠南的西受降城。
振武节度使李光进奏请重修城池，同时一并治理河防，以上约需经费二十一万缗。
李吉甫的意见是与其修城不如迁城，提议将驻扎在西受降城的士卒安置于天德故城——今内蒙古自治区巴彦淖尔市乌拉特前旗——用以节省开支。
李绛与户部侍郎卢坦认为：“受降城是当年朔方道大总管张仁愿为防御突厥所筑，城池占据交通要冲，水草丰美，利于稳边。如果是为了防范水患，退上两三里就足够了。为什么要为了节省一点点开支，而舍掉万世久安的要地！”
“何况天德故城位置偏远，土地贫瘠，烽火斥候不能互相支援。一旦遇有敌袭，朝廷无法及时知情。这样一来，等于无缘无故放弃了两百多里领土！”
但这次宪宗却采纳了李吉甫意见，下诏把西受降城转隶给了天德军。
宪宗在朝会时询问宰相：“有人说朋党之风盛行，这是怎么回事？”
李绛答：“自古以来，君王最忌讳的莫过于臣子拉帮结党，所以小人在诋毁君子时一定诬称他们结党。为什么呢？结党的事说起来可恶，追究起来却又无迹可寻！东汉末年，但凡稍稍贤明些的臣子，宦官们都拿结党的罪名来禁锢他们，结果把国家搞亡了。这都是小人陷害君子的言论，希望陛下明察！君子本就应与君子相合，怎能非要他们与小人愉快相处，然后才说是不结党呢！”
李绛的这番言论，既指责了宦官，也暗讽了李吉甫，让一众阉人对他恨之入骨，不停的在宪宗面前搬弄是非。
元和九年（814年）正月，李绛迫于压力，以足疾为由申请退休，被免为礼部尚书。
李绛一被免去相位，宪宗立刻把淮南监军吐突承璀调回朝中，出任弓箭库使、左神策军护军中尉。
由此可知，在皇帝眼里，宰相不过是个想用就用、想扔就扔的工具，而宦官才是长久陪伴他们的家人！
做了礼部尚书的李绛并没有因此沉沦，仍在尽心报效朝廷。
不久，回鹘可汗遣使请婚。宪宗因为公主出嫁花销太大，没有答应。
李绛上疏劝谏：“回鹘是强敌，不可不防。现在江、淮地区一个大县每年赋税就有二十万缗，足以支付公主下嫁费用。陛下为什么只图一县赋税，而不用它来羁縻劲敌！回鹘与我们和亲，必然高兴万分，与我们不再为敌，我们就可把精力放到对付那些不老实的叛藩上。现在拒绝他们，万一回鹘发兵进犯，朝廷不派出数万人不足以抵御！假如一年能击退他们，这笔开销比起下嫁公主不知要高出多少倍！”
李绛的分析与往常一样言之有物，可惜宪宗在心里已经疏远了他，没有采纳他的意见。
这一年的十月，李吉甫因病去世。朝廷任用张弘靖、韦贯之为相。
不论张弘靖还是韦贯之，人品都不错，加上高瞻远瞩的资深老臣武元衡，元和中兴的局面仍在继续推进。
客观上看，李吉甫上任以来做了不少有利于朝廷的好事，但他有仇必报的作风为今后“牛李党争”埋下了伏笔！而宪宗为求平衡，刻意而为的“架秧子”行为，更是加重了党争习气的形成！
