李泌一生崇尚出世无为的老庄之道，视功名富贵如敝屣，所以在肃、代两朝数度坚辞宰相之位，并且最终远离朝堂，长年隐居于衡山。泾原兵变后，德宗避难于梁州，急诏征李泌至梁州行在，授以左散骑常侍之职，令他每天在中书省值班，以便等候召对，李泌因此殊荣而受到朝野的瞩目。
陕虢都知兵马使达奚抱晖鸩杀节度使张劝，代领军务，邀求旌节，并密召李怀光将达奚小俊为援。德宗鉴于局势危急，便命任李泌为陕虢都防御水陆运使，李泌请求单骑前往，德宗初时虽有怀疑，但最终同意。李泌先见陕州进奏官及将吏在京城的人，欺骗他们说：“皇上因陕虢饥，所以让我领运使，督江淮米以赈济。陕州行营在夏县，如果达奚抱晖可用，就让他统军；如果有功，就让他出任节度使。”以此麻痹达奚抱晖。
德宗加李泌为陕虢观察使。李泌至陕州行营，让达奚抱晖自领家人亡命。李泌辞行时，德宗曾草拟参加叛乱的七十五人名单授李泌，命他诛杀。李泌遣走达奚抱晖后，朝廷所派的宣慰使要求李泌一定要诛杀叛乱者，李泌不得已，只械送了兵马使林滔等五人送至京。达奚小俊领兵入境，听说李泌已入陕，只得还军。陕虢遂安，李泌又凿山开车道至三门，以便于军粮运输，因劳绩被加官检校礼部尚书。
参与防秋的淮西门枪兵马使吴法超，率步骑四千从鄜州叛逃，浑瑊派部将阻拦未果，德宗急遣中使敕令李泌发兵拦阻，不得让淮西军渡河。李泌马上派押牙唐英岸率军至灵宝，但淮西军已渡过黄河列阵，李泌于是令灵宝供给他们粮食，淮西军也不敢剽掠。次日，淮西军在陕州城西宿营，李泌不再向他们供给粮食，而派部将率精兵埋伏于太原仓隘道。一日后，淮西军行入隘道，李泌所派的伏兵齐发，淮西军大败，残军从山路南逃，李泌又派大将燕子楚率军四百至长水。唐英岸多次追败叛军，吴法超等至长水，被燕子楚伏杀，李泌入朝，出任中书侍郎同平章事，正式拜相。
李泌对内政的处理，外交的策略，军事的部署，财经的筹划，都做到了安和的绩效。他勤修内政，充裕军政费用，保全功臣李晟、马燧，以调和将相。外结回纥、大食，达成“贞元之盟”，从而遏制吐蕃以安定边陲。常有与德宗政见不同之处，反复申辩上奏达十五次之多，德宗曾对他说：“朕要和你约法在先，因你历年来所受的委屈太多了，不要一旦当权，就记恨报仇，如对你有恩的，朕会代你还报。”李泌说：“臣素奉道，不与人为仇。害臣的李辅国、元载他们，都自毙了。过去与臣要好的，但凡有才能的，也自然显达了。其余的，也都零落死亡了。臣实在没什么恩怨可报的。但是如陛下方才所说，臣可与陛下有所约言吗？”德宗就说：“有什么不可以的呢？”李泌便进言，希望德宗不要杀害功臣，认为“李晟、马燧有大功于国，闻有谗言之者。陛下万一害之，则宿卫之士，方镇之臣，无不愤怒反厌，恐中外之变复生也。陛下诚不以二臣功大而忌之，二臣不以位高而自疑，则天下永无事矣。”德宗听了认为很对，接受了李泌的建议，李晟、马燧在旁听了，当着德宗感泣而谢。
太子妃萧氏的母亲郜国公主因与太子詹事李昪等有染，有人告发他们以通奸为名，为太子结交党羽，德宗大怒，将郜国公主软禁在宫中，并责备太子李诵，太子不知所措。李泌猜测德宗有改立舒王李谊为嗣的意图，便说：“陛下有一个儿子（李诵）却怀疑他，想要立弟弟的儿子（李谊），臣不敢用古例争论，再说十王宅的叔父们，陛下是如何对待的？”德宗惊讶道：“你怎么知道舒王不是朕的儿子？”李泌回答：“陛下过去为臣说过这事。陛下有嫡子却要怀疑，那弟弟的儿子怎敢为陛下所信任？”德宗不满，语带威胁地说：“你违背朕的心意，难道不顾及你的家族吗？”李泌回答说：“臣已经衰老了，位居宰相，因谏言被杀，是我的职分。假使太子被废除，他日陛下后悔说‘我只有一个儿子却被我杀了，李泌不劝谏我，我也要杀了你的儿子’，那么臣就绝后了。虽然臣的兄弟有儿子，但他们的祭祀不是我该享受的。”说罢便呜咽流涕，接着又说：“昔日太宗下诏：‘太子无道，藩王窥伺太子之位的，二者都应废黜。’”陛下对太子生疑而称赞舒王贤明，他能没有窥伺太子之位的想法吗？如果太子有罪，请求废掉他而立皇孙，千秋万岁以后，天下还是陛下的子孙所有。何况郜国公主被女儿妒嫉，而蛊惑太子，陛下怎能因妻子的母亲连累太子呢？”李泌在德宗面前争论数十次，始终坚持己见，德宗才醒悟。
接着李泌又提出唐肃宗与代宗父子恩怨之间的往事，道说：“陛下不记得建宁王的事情吗（唐肃宗因受宠妃张良梯及奸臣李辅国的离间，杀了其子建宁王李倓）？”德宗说：“建宁叔（李倓）确实是冤枉的，他的不幸是因为肃宗性子太急了。”李泌说：“臣以前为了此事辞职归隐，发誓不再靠近天子身旁，不幸今日又担任了陛下的宰相，再次看到了这件事。而且那时候先帝心中常常担忧恐惧。臣离朝辞谢时，曾诵读《黄台瓜辞》，肃宗才因悔悟而哭泣。”德宗听到这里，总算受到感动，但仍然说：“我的家事，为什么你要这样极力参与？”李泌说：“臣现在独自承担宰相的重任，四海之内，‘一物失所’，责任都归咎在臣身上，何况是坐视太子横遭冤祸而闭口不言，这样臣的罪就大了。”他甚至说到“臣敢用整个宗族的性命来保太子”，君臣之间往返辩论多次，李泌还告诉德宗要极力保密，回宫后不要让侍从知道如何处理此事。一面又安慰太子不要气馁，不可自裁，他对太子说：“一定没有这种忧患，希望太子更加恭敬孝顺，假使臣死了，那就无法得知此事如何处理了！”最后总算解开德宗父子之间的心结。
德宗特开延英殿召见李泌，对他哭着说：“不是你的直言，朕已悔之不及！太子仁厚孝顺，的确没有其他事，从今以后，军国事务及朕的家事，都应与你商议。”李泌在拜贺之外，便说：“臣报效国家的使命完成了，惊悸之余的亡魂，不能再用了，希望陛下允许臣乞骸骨。”德宗除了致歉安慰，始终不准他辞职。
除此之外，在为相期间，李泌针对“徐地重而兵劲”却“地迫于寇，常困肸不支”的现状，建议将徐州与濠、寿、庐三州都团练观察使张建封治下的濠、泗二州合并，授张建封为徐泗濠节度使，以对抗平卢镇的威胁，保卫江淮粮运通道，德宗允准，张建封在任十年，使徐州成为当时着名的雄镇。
德宗曾与李泌议论此前被罢免的诸位宰相，李泌在对答的同时巧谏德宗，使德宗似有所悟。此后不久，德宗加拜李泌为集贤殿、崇文馆大学士，修国史，李泌认为，学士加“大”之名始自唐中宗时期，到玄宗时有张说得任此官，于是极力推辞，德宗允准，命其以学士官“知院事”。李泌病逝，享年六十八岁，德宗追赠他为太子太傅，所赐赙礼加等。
李泌参与宫室大计，辅翼朝廷，运筹帷幄，对外策划战略，配合诸将的步调，使其得致成功，是唐代肃宗、代宗、德宗三朝的重要人物。
