于是席毗罗仗着人多势众，来逼近官军。于仲文背城布阵，在离阵几里远的地方，在麻田里设下埋伏。两下里刚刚交手，于仲文的伏兵就动手了，他们都扌曳着柴，鼓噪呐喊，尘埃飞扬得很高。席毗罗的部队溃逃了，于仲文乘机追杀，贼人都投洙水而淹死，洙水因此而断流。于仲文活捉了檀让，用囚车把他送到京师。黄河以南地区全部平定，席毗罗藏在荥阳一户民家，被捉来杀了，把他的首级传到京师。朝廷为于仲文刻石纪功，碑就树立在泗水之滨。于仲文，回到京师朝见杨坚，杨坚引他到内室，一起饮宴，极尽欢乐，赐他杂采一千多段，女乐十人，又授他柱国、河南道大行台。
杨坚篡周建隋，他就留在了京师，不久，他的叔父、太尉于翼因罪下狱，于仲文也被有关官吏抓到牢里去了，他在狱中上书杨坚，说：“我听说春生夏长，是天地平分之功；子孝臣忠，是人伦不易之道。过去尉迟迥作乱，所在之处，如影随物地都追随他。我地处险要的函谷关和黄河之间，地方是要冲。我尝胆枕戈，誓死为国。尉迟迥当时收买我，用大将军的官位和万户侯的爵禄。我不顾妻子儿女，不爱惜自己的生命，冒着白刃，突破重围。我的三个儿子、一个女儿，相继惨死。我披肝沥胆，跑到京师。承蒙陛下授我高官，委我兵权。那时黄河以南的贼人，如狼似鸱。我以八千疲弱兵卒，扫除妖雾，在梁郡打败刘子宽，在蓼堤打败檀让，平定曹州，收复东郡、安城、武定、永昌，解了亳州之围，消灭了徐州的贼人。席毗罗的十万之众，一战便土崩瓦解；黄河南边的蚁聚之徒，我都按时消灭了。在群凶问鼎之时，百姓无主之日，我的二叔于翼先在幽州，总管燕赵，他南邻反贼，北防胡人。他内外安抚，辖区才得以免遭祸害。我的五叔于智，在黑水一带树起大旗，与反贼王谦为邻。五叔他遏制蛮人，镇守蜀道。我的兄长于顗，任州牧于淮南，受命杀敌，他乘机剿贼，传贼人首级到京师。王谦窃据二江，背叛于蜀。我的第三个叔父于翼，受命于朝廷，替天讨逆。我家此外的父叔兄弟，都受到文武重任，或受命于危难之际，或侍卫于战阵之前。我们于家全家忠诚，望能查明真相。请陛下垂泣辜之恩，降云雨之施，追草昧之始，录点滴小功。这样，那么就能死灰重燃，枯骨生肉，不胜感激之至，谨冒死上闻。”杨坚看了表章，将于仲文和于翼都放了，不久，杨坚下诏，让于仲文率兵屯扎在白狼塞，以防备突厥。
杨坚授他行军元帅，统帅十二总管，以进攻突厥，出兵服远镇，遇到突厥军，打败了他们，斩首一千多级，得到牲畜数以万计。于是，从金河出白道，派总管辛明瑾、元滂、贺兰志、吕楚、段谐等二万人出盛乐道，到那颉山去。隋军到了护军川北边，与胡人军相遇，可汗见于仲文的军队军容整肃，不战而退。于仲文率领精干的五千骑兵，越山追击，没追上而回还，杨坚因尚书省文书多而杂，官吏多行奸诈，让于仲文调查尚书省的事，他所揭发的尚书省的问题很多，杨坚嘉奖他的明断，厚加慰劳赏赐。
杨坚每每担心运输跟不上，于仲文请求挖掘疏通渭水，开通水运，杨坚深以为然，让仲文总管这件事。杨坚发动伐陈战争，授于仲文行军总管，率水军从章山出汉口。陈国的郢州刺史荀法尚、鲁山城主诞法澄、邓沙弥等请求投降，秦王杨俊都让于仲文率兵接受他们投降。高智慧等人在江南作乱，他又以行军总管身份讨伐他们，当时三军缺粮，米价猛涨，于仲文私下里卖军粮，因此被除名。
晋王杨广因于仲文有将帅之才，常注意他，杨广上奏，要于仲文去，朝廷于是下令让他监督晋王军府之事。后来突厥进犯边塞，杨广任元帅，让于仲文率领先头部队，大破突厥军而回，授于仲文为太子右卫率。杨广即位后，迁他为右翊卫大将军，参与掌管选用文臣武将之事，杨广讨伐吐谷浑，仲文迁任光禄大夫，很被亲信。
杨广首征高句丽，于仲文率军直指乐浪道，部队驻扎在乌骨城，于仲文挑选瘦弱的马、驴几千头，放在军后，接着率部往东。高句丽人出兵袭击他的后部，于仲文回军打击，大破高句丽军。到鸭绿江，高丽将领乙支文德诈降，来到于仲文的军营，于仲文早就接到密旨，如遇到高元和乙支文德，一定要抓住。到这时，乙支文德来了，于仲文将要活捉他，当时尚书右丞刘士龙任慰抚使，坚持劝阻他。
于仲文于是放了乙支文德，接着又后悔，派人骗文德说：“还有话要说，你可再来一下。”文德不听，于是渡江。于仲文选拔骑兵渡江追他。每次作战，必破敌军，乙支文德送诗于仲文说：“神策究天文，妙算穷地理。战胜功既高，知足愿云止。”于仲文回信叫他投降，文德烧掉军营而逃走。当时宇文述因粮尽想退军，于仲文说要以精兵追杀乙支文德，可以立功。
宇文述坚持阻止他，于仲文发怒说：“将军率十万之众，不能破小贼，有何脸面见皇上？而且这么一退，我于仲文此行，就无有战功了。”宇文述也厉声说：“何以见得无功？”于仲文说：“过去周亚夫为将时，看见天子，军容不变。这是因为决定权在他一人手里，所以他能功成名就。现在我们却人各一心，怎能赴敌？”起初，炀帝因于仲文有谋略，下令各部听他节制，所以仲文才有这番话。因此，宇文述等人不得已而听他的，于是前行。
往东到了萨水，宇文述以士兵饥饿为由而退回，所以隋军失败。杨广把这事交给有关部门处理，诸将都把罪过推给于仲文，杨广大怒，放了诸将，独关于仲文。于仲文忧愤发病，病很重了才出狱，后死在家里，时年六十八岁。于仲文撰有《汉书刊繁》三十卷、《略览》三十卷。有九个儿子，于钦明最有名。
