借势而起，顺势而行，像刘永福这样两面摇摆的农民军武装只是少数，大部分的农民军武装和华人流民还是顺应华人部队造起来的大势，抛弃吴亚终等缺钱少粮的大股农民军武装，转而把投奔目标改为孙彬所部。
本土农民发动叛乱，安南部队不敢在这个时候招惹势头正旺的孙彬所部，对于路过防区的华人流民和农民军武装纷纷放行。
时间在华人部队大踏步扩展势力范围中过去了半个月，和一个月前招收华人移民的相比，这次的华人流民涌来的阵势更大。安南各地投奔的华人数量超过五万人，谅山、海防、广安、海宁四个华人聚集的省份人数约二十万，从太平府、龙州、凭祥等广西边境地区越境投奔的贫困流民两万人。
来自不同地区的华人加起来总人数约28万，超过了南里奥格兰华人数量。
28万华人大部分分布在广安、海宁、谅山三省，海防省中的华人除了驻守的士兵，普通华人正在向其他三省转移。
海防是安南北部重镇河内的门户和通商港口，强行占领海防不仅会招致安南朝廷的反弹，还会得罪法国人。
安南朝廷本身态度如何孙彬并不在乎，不过安南背后站着刚剿灭太平天国的清军，要是安南朝廷不管不顾请来清军援助，华人部队刚打下来的地盘就要面临覆灭危险。
顾忌到安南背后的清军和法国军队干预，孙彬在占领海防前就提前做好安排，一边整顿占领区内的华人武装，一边派遣信使和顺化朝廷谈判招安的条件。
顺化朝廷中真正做主的是以驸马黄继炎为首的文官势力，当孙彬派出的代表梁兴带着黎裕和一笔缴获白银拜见黄继炎后，双方经过四天紧急谈判，达成招安条件：
一华人部队退出海防省，在安南部队接管前不得破坏城海防城内城防设施和威胁官员安全。
二释放被俘虏的一万安南士兵和大小军官。
三不得暗中支持安南本土叛军，
四：约束手下农民军武装，不得与吴亚终所部农民军勾结。
五：合并广安、海宁两个面积狭小的省份为广宁省，册封孙彬为广宁省总督，额定兵员三千人，不得私自扩军。……
明面上的招安条件一共十三条，而背地中有些条件却是见不得光的内容，比如华人部队投靠驸马黄继炎，听从黄继炎的亲自指挥，顺化朝廷默认华人部队对谅山省的实际占领，以军饷的名交给华人部队三十万两银子，雇佣他们围剿本土叛乱武装……
明面上、背地里的协议全部签订，华人部队一摇身变成了安南朝廷的臣属，近三十万安南华人拥有了合法的身份，孙彬在安南的行动也罩上另一层外衣。
