当时，驻地的仓库储粮不多，外城没有居民，朝廷为此担心，便命令马璘管辖郑、颍两州来供应泾原军，命令段秀实任留后。军队不缺钱粮，两州因此太平，马璘嘉奖他的功绩，奏请朝廷任他为行军司马兼都知兵马使。马璘在盐仓与吐蕃交战失败，他被敌军拦隔，到傍晚还没有回来，泾原兵马使焦令谌等人和败兵争相夺门入城。有人劝段秀实登城拒守，段秀实回答：“主帅不知在何处，当前的任务是攻击敌军，难道能苟且求生吗！”段秀实召见焦令谌等人，责备他们说：“按军法规定，失去大将，部下都得处死。各位忘掉了死吗！”焦令谌等人十分慌恐，跪拜在地，请求段秀实给他们下命令。段秀实于是派遣所有城中没有参加过战斗的士兵出城，在东原布阵，并收罗散兵游勇，摆出准备拼死作战的姿态。吐蕃很畏惧，逐渐退却，入夜，马璘才得以回城。
马璘病重，不能管事，便请段秀实代理节度副使兼任左厢兵马使，段秀实就命十将张羽飞任招召将，派兵警戒，以防意外。马璘去世，军中数千人奔走号哭，节度府的门庭屏墙外一片哀哭声，段秀实都不让他们进去，他命令押牙马頔在里面办理丧事，李汉惠在外面接待宾客，马璘的妻妾子孙位居堂中，宗族父老位居庭内，高级将领位居堂前，衙内亲兵在营中哭泣，百姓分别在家守候。如果两个人在通衢要道偶然说话，就将他们抓住，囚禁起来，不是护送灵柩出丧的人不得远送。吊唁哭拜都有仪式和礼节，送丧远近都有规定，违者依军法处治。都虞候史廷干、兵马使崔珍、十将张景华图谋在治丧时作乱，段秀实知道后，奏报朝廷让史廷干入朝宿卫，崔珍移军驻守灵台，将张景华补任外职，不杀一人，节度军府安然无恙。
段秀实被正式授任泾州刺史，兼御史大夫，四镇、北庭行军和泾、原、郑、颍节度使。他在任三四年间，边患有所缓解，他为人简朴坦率和气，远近的人都称赞他。当时依照法律，官员身兼二职可拿两份俸禄，段秀实只拿一份，不是因公聚会，他不奏乐喝酒，家里没有乐妓和小妾，没有多余的财产，而他回到家里，只是安居静思而已。
段秀实回京城朝见代宗，在蓬莱殿回答代宗的提问，代宗问及安定边防的谋略，段秀实在地上画出地形图，分门别类、井井有条地回答，代宗高兴，慰劳赏赐他很丰厚，又赏赐他第一等的住宅，实封一百户，让他回到任所。吐蕃一万骑兵从青石岭前来，进逼泾州，代宗命段秀实与郭子仪、朱泚共同抵御。
唐德宗李适即位，加封段秀实检校礼部尚书，封张掖郡王。宰相杨炎想实施元载过去的计划，修筑原州城，开挖陵阳渠，派宫中使者收集意见，于是问段秀实是否可行。段秀实认为春天不能征劳役，请求等待农闲，杨炎认为他反对自己的计划，就征召段秀实入朝任司农卿，夺去他的兵权，派邠宁节度使李怀光兼任泾原节度使，向西扩张，不久，刘闻喜叛乱，城也没能建。
泾原兵变，朱泚占据长安，朱泚因段秀实长期失去兵权，猜想他必定郁郁不乐，便派数十人骑马传召他，段秀实闭门拒绝来使，骑兵跳墙而入，用兵器劫持了他。段秀实估计自己不能幸免，便对子弟说：“国家蒙受灾难，我能够躲避到何处去！我自当为国家殉难，你们应去自求生路。”于是，段秀实前往见朱泚，朱泚高兴地说：“段公一来，我的大事可望成功了。”朱泚请段秀实入坐，向他询问计谋，段秀实劝说他道：“您本来以忠义着称于天下，现在泾原军因犒劳赏赐不丰厚，骤然猖獗而起，致使圣上流离失所。若说犒劳赏赐不够丰厚，那是有关部门的过错，圣上哪里能够知道此事！您最好用这个道理开导将士，说明祸福，迎接圣上，再回宫中，这是没有比这更大的功劳了！”朱泚默不作声，心中不快，但认为段秀实与自己都是被朝廷所废黜的，所以还是推心置腹地委任他。左骁卫将军刘海宾、泾原都虞候何明礼、孔目官岐灵岳，都是段秀实平素所厚待的人，段秀实暗中与他们计议诛杀朱泚，迎接德宗。
朱泚派泾原兵马使韩旻率精兵三千人，声称迎接德宗，实际上是袭击奉天。当时奉天的防守非常薄弱，段秀实对岐灵岳说：“事情危急了！”他让岐灵岳盗用姚令言的印符，命令韩旻暂且回军，与大队人马同时出发。由于姚令言的印信未能盗来，段秀实便盗用司农卿的印符，招募了擅长奔走的人去追赶韩旻。韩旻行至骆驿，得到印符便回军了。段秀实与共同策划的人们说：“韩旻一回来，我辈是要无一幸免的了。我自当直接与朱泚搏斗，将他杀死，若不能成功，便一死了之，终究不能作朱泚臣属的！”于是，段秀实让刘海宾、何明礼暗中联络军中将士，准备使他们从外部响应。韩旻回军后，朱泚和姚令言极为震惊，岐灵岳独自承担罪名而死，没有牵连段秀实等人。
不久，朱泚传召李忠臣、源休、姚令言及段秀实等人商议称帝事宜，段秀实猛然起身，夺去源休的象牙朝笏，走上前去，往朱泚的脸上吐口水，大骂道：“狂妄的叛贼！我恨不能将你斩为万段，岂肯随从你造反呢！”于是，用朝笏击打朱泚，朱泚举起手来抵挡，仅被击中额头，血花溅到地上。二人相互搏斗，一旁侍从仓皇失措，刘海宾不敢上前，乘乱逃走，李忠臣前去帮助朱泚，朱泚得以匍匐着脱身逃走。段秀实知道事情不能成功，便对朱泚的党羽说：“我不和你们一起造反，为什么不杀死我！”众人争相上前，将他杀害，享年六十五岁，据说朱泚还一边止血，一边对众人说：“他是义士啊！不要杀他。”段秀实死后，朱泚甚为悲恸，以三品官的丧礼将其埋葬。
德宗在奉天听到段秀实的死讯后，悔恨当初没有任用他，涕泪交流地哭了许久，下令追赠段秀实为太尉，谥号忠烈，赏赐五百户的赋税，庄园、府第各一座。长子封三品官，其余的子嗣封五品官，都是正品官员。德宗回到京城后，又下令祭祀段秀实，表彰门庭，亲自题写碑文，下诏命主管官吏为段秀实树碑立庙。自贞元年间后历朝，但凡赦书节文褒奖忠烈，一定以段秀实为首。
段秀实的儿子段伯伦为他建庙，唐文宗李昂下诏赐给仪仗队，又赐给国库的绫绢五百匹，用少牢的规格祭祀。段伯伦去世后，宰相李石请求文宗增加办丧事的财物衣衾，郑覃说：“自古以来的为国捐躯者，还没有谁比得上段秀实。”唐文宗难受地说：“段伯伦应增加丧葬待遇。”于是停朝一天，以示对忠臣后代的敬意。
南宋文天祥作《正气歌》，颂扬了许多历史上仁人志士，其中“击贼笏”指的就是段秀实以笏击朱泚之事。
