不过，城破后对清兵的打击还是不小，随着越来越多的兴夏军攻入城内，高喊缴枪不杀的口号，一部分清兵开始溃败，但更多的清兵却拒不投降，依然坚持战斗。
巷战很残酷，双方一条街、一条巷地争夺，双方的尸体几乎填满了街道，这里房屋太多，而且还有很多百姓，对于不扰民的兴夏军来说极为不利。
眼见兴夏军伤亡太大，张无易下令把火炮拉入城内，凡是哪幢房里有清兵就用火炮轰击，如此一来，才打压住清兵的气焰。
双方巷战打了两天，随着一条又一条街道被兴夏军占领，清兵再也坚持不住，变成了溃败。
守卫衢州的是衢州总兵李成善，眼见大势已去，最后率领一万多清兵从北门突围，进攻衢州城，兴夏军采取的是三围缺一的战术，北方，就是缺一那一方，以免清兵无路可逃采取困兽之斗。
不过，当清兵逃出城时，东方和西方的兴夏军立即开始合围这一支清兵，李成善本来想带着手下朝江山方向逃走，然后与王鹭的大军汇合，但江山却在西南方，眼见两路兴夏军合围，哪里还敢去江西，带着手下朝着北方亡命逃跑，一路上遭到兴夏军追击，最后丢下大部手下，只带着亲卫和骑兵逃之夭夭，而那些步兵最终成为了兴夏军的俘虏。
衢州一战，两万多清兵伤亡五千多人，俘虏一万二千多人，逃走两千多，还有两千多人不知所踪。
而在前河、招贤一带，五千兴夏军正遭到三万多清兵的进攻，当王鹭知道兴夏军兵临衢州时就派出清兵援军，只是在兴夏军在前河、招贤一带却被五千兴夏军挡住，清兵猛攻兴夏军阵地，虽然迫得兴夏军不停丢失阵地，但兴夏军却让清兵进军缓慢，还没有等他们赶到衢州城，衢州城已经被兴夏军攻破，眼见兴夏军的援军到来，王鹭无奈下命令撤退。
康熙三十一年十一月三日，张无易率领五万兴夏军进逼江山，同一时间，魏怀远率领十万东路军开始反攻，王鹭眼见不好，不得不撤走正在进攻的清兵，朝着江山撤退。
十一月十日，张无易率领的浙江兴夏军与魏怀远率领的江西东路军在江山城南面贺村会师，此时，兴夏军的兵力已达十五万多，而王鹭率领的闽浙联军只剩下十万，双方的兵力彻底逆转。
王鹭也没有想到局势变化如此快，从进攻方变成了被进攻方，最重要的则是兴夏军比清军还多一半，要知兴夏军与清兵的战斗力一直以来就比清兵强，同样的兵力，如果是野战，兴夏军必定能击败清兵，而现在兴夏军比清兵还多，清兵已经处于劣势。
所以，王鹭一边在江山城附近修筑工事，一边向着安徽的索额图求援，一边派人向朝庭求援。
