但是王世充派到窦建德身边的侄子王琬、长孙王安世两人听说消息后大惊，拿出大量金银珠宝来贿赂窦建德身边人，力劝窦建德不要退兵，继续打虎牢关。
到了武德四年五月，窦建德最后还是没有听取凌敬的意见，决心在虎牢关与李世民决一死战。
五月初二，窦建德率大军倾巢而出，和李世民在虎牢关外，进行第二次决战。
这一战从早上打到晚上，最终是窦建德大军被击溃，士兵们四处散去。
窦建德逃到牛口渚时，被唐将杨武威生擒，献给李世民。
李世民将窦建德和王世充的侄子王琬、长孙王安世等人，装在囚车上，运至洛阳城下。
城头上的王世充见状，与窦建德隔空相望，大哭。
随后，王世充召集诸将，商议突围之事。但诸将已经被李世民打怕了，纷纷反对。
王世充无奈，只好派出使者向李世民表示愿意归降，但条件是求免死。李世民答应了。
五月初十，王世充身穿素服，率领太子、群臣两千多人，出城到李世民大帐前，正式献上降表。
李世民以礼接纳，并令部队分批进入洛阳。
李世民虽然不杀王世充，但并不想放过他的党羽。像段达、朱粲、单雄信、薛德音十几人，被李世民下令先后诛杀。
这些人中，要属朱粲名声最大。
洛阳居民听说要斩首朱粲，纷纷过来围观，并在他死后争相用瓦石投击他的尸身，片刻之间瓦石堆积如坟。
自从跟随翟让起事起，徐世积便和单雄信在战争中，结下了深厚友谊。
见到斩首名单中有单雄信，徐世积便拼命为单雄信求情，愿意以自己的官爵、军功，来赎单雄信不死。
李世民将徐世积的请求上报李渊。李渊不允许。
行刑那天，徐世积去见单雄信最后一面。两人见面都是泪如泉涌，令人感慨万千。
昔日跟随翟让时，徐世积、单雄信两人并肩作战，情比金坚。
而命运的安排让两人各为其主，兵戎相见。
如今，一个是大唐的左武侯大将军，一个是郑国的阶下囚。
看到兄弟如此难过，单雄信安慰徐世绩说道：“人的生死由天定，我既然选择了站在郑王这边，自然就愿赌服输。你不必内疚。希望我走之后，你能照料我的家人。”
徐世积伤心欲绝，立刻抽刀从腿上割下一块肉，递给单雄信，说道：“当年与兄长誓言同生共死，现在我以身许国，忠义不能两全，不能兑现誓言了。
兄长走了之后，我一定会照顾好嫂子和侄儿。兄长你吃了这块肉，就当我和你同日入土了。”
单雄信大笑，把徐世积的腿肉吃下，慷慨赴死。旁人见状，不禁也潸然落泪。
一个人到了山穷水尽时，还有徐世积这样重情义的朋友来送别，想来单雄信在黄泉路上，也没有什么可牵挂了。
而徐世积也信守承诺，把单雄信的儿子培养成人，最后还做了唐朝的地方官。这是后话。
王世充投降后，王世充的哥哥王世辩随之也将洛阳以外的三十八州、县献给大唐帝国。
至此，王世充建立的郑国从版图上消失。
而另一边，李孝恭与李靖在训练水军有成后，率领大军顺流而下，进击萧铣。
仅仅用了两个月，李孝恭与李靖大军势如破竹，兵锋直插梁国首都江陵。萧铣兵败投降，梁国被灭。
就在所有人认为尘埃已定的时候，意外又发生了。
武德四年七月，窦建德被押解到长安。
李渊下令将其斩首，并又要求已经投降的窦建德旧将范愿、董康买、曹湛、高雅贤、王小胡等人到长安。
范愿等人既悲愤窦建德被杀，也猜测到李渊要斩草除根，便拥立刘黑闼为首领反唐，做最后一波拼搏。
武德四年七月十九，刘黑闼收拾窦建德旧部，在贝州设坛，祭奠窦建德，自称大将军，正式大举起兵。
李渊知道后，令自己的堂弟——淮安郡王李神通率领大军，进击刘黑闼，同时令幽州总管罗艺发兵配合，一同进攻。
结果，李神通和罗艺双双被刘黑闼打得大败，很多唐朝将领李玄通、薛万彻、薛万均等人都被刘黑闼俘虏。
趁着大胜，刘黑闼一路攻城掠地。
李渊大惊，再派自己族弟——义安郡王李孝常和大将徐世积率领大军，再去镇压刘黑闼。结果又是双双大败而归。
不到半年时间，刘黑闼就全部占据了窦建德原来夏国的土地。
从此，刘黑闼声名大起。在刘黑闼派出使者的游说下，高开道、徐圆朗降唐又叛唐，响应刘黑闼。
就连突厥人都派出骑兵，来助刘黑闼一臂之力。
天下形势又起波澜。如果唐帝国再败，叛唐的人会更多，搞不好就让刘黑闼逆袭成功了。
