这时李显忠也站起来，他是镇守前线的武将，汤思退没有问他前方的军情，他也一直没有说话。但这时李显忠也忍无可忍，忿然道：“我李显忠宁死阵前，不死阵后，但有一口气在，绝不后退一步。”
原来汤思退清楚，如果不答应金国割让土地的条件，议和很难在短时间内完成。因此卢仲贤向他辞行的时候，汤思退才要卢仲贤答应金人的一切条件，好尽快完成议和。但汤思退也知道议和的最终决定权仍在皇帝那里，如果赵眘不接受，就算卢仲贤签好议和协定也没有用。
因此汤思退才耍了个手段，借自己任御营宿卫使，都督江淮事的机会把颖、寿、宿、邳、徐、海六州的守军撒回来，由金军去取。造成颖、寿、宿、邳、徐、海六州被金人所占的事实。那时木己成舟，赵眘也没有办法了。至于失六州之罪，汤思退认为只要能和金国议和成功，自己就算为大宋立下大功，那时赵眘还要倚重自己，根本算不了什么。实在不行，就把责任堆到前线的守将身上，找几个替罪羊就可以了。
但他却没有想到，自己刚一提出撒军的要求，就遭到了建康都督府的一至反对。他虽是御营宿卫使，但对韩彦直、李显忠这样的大臣也无权罢免。令他心里不禁有些竭斯抵里，历声道：“我这就下令，看你们谁敢不听令。”
韩彦直冷冷一笑，道：“相公请自便，恕彦直不奉陪了。”说着一甩袖子，忿然离开。李显忠、刘珙、张孝祥、范成大、岳霖等人也一言不，跟着韩彦直一齐离开。
汤思退气得手足失措，伸手抓过一支毛笔，奋笔急书。嘴里喃喃道：“我这就下令，看你们谁敢不听令。谁敢不听令。”
忽然执笔的手被一支大手握住，汤思退抬头一看，原来是杨沂中。汤思退愕然道：“杨郡王，你这是什么意思？”
杨沂中道：“相公，你真要下令吗？”
汤思退“哼”了一声道：“这是自然，杨郡王你要阻拦老夫吗？”
杨沂中松开了手道：“相公真要下令，我自然不敢阻拦。但请相公恕我杨沂中不能署名。我立刻上书皇上，请求至仕归农。”杨沂中也及不满汤思退的做为，但他这一次是做汤思退的副手，不能像韩彦直、刘珙那样当面和汤思退冲突。说得虽然委婉，但也表明了自己的态度。
汤思退又惊又怒，指着杨沂中，道：“你……你……”连说了几个“你”字，眼前一黑，“啪”的一声手中的笔也掉到地上。
几天以后，颖、寿、宿、邳、徐、海六州的驻守宋军都接到了两份命令，一份是以御营宿卫使的名议来，令他们立即撤军，回到各自的驻地。而另一份是建康都督府来，要求他们严加防守，绝不许离开自己的防区。汤思退和韩彦直争噪的风声多多少少也传到各路去了,，接到这两份命令，各路的守军都有些无所适从。
最终还是有几路的宋军尊守汤思退的调令撤军.于是金军一面和卢仲贤琰谈论议和,一面分兵两路,进攻邳州和寿州.海州的魏胜分兵拒守,邳州虽然失守,但总算守住了宿迁,使金军无法再前进.而另一路金军攻占寿州,一路南下又攻占了钟离.一直打到了定远城下.定远距离建康府只有两百多里.
消息传到了临安,满朝震惊,赵眘又惊又怒,急忙下诏,诏汤思退回京询问经过。汤思退见虽然没有达到自己放弃六州的目地但也造成了金军大军压境的形势，也算是一个理想的结果。这时正好卢仲贤也从金国归来，两人便一道返回临安。
