金兀术随即带领亲兵，乘马想渡河北逃。他刚要出城，忽然有一个书生，叩马劝谏道：“太子毋走！岳少保且退！”金兀朮在马上答道：“岳少保只用五百骑，能破我兵十万。汴京人士，日夜望他到来，我难道坐待俘囚，不管生死吗？”书生笑道：“太子说错了。从古来就没有权臣在内，大将能立功于外。岳少保尚且不免，怎得成功哩？”这书生几句话，提醒了金兀朮。他便返辔回入，仍留在汴京。
与此同时，秦桧和赵构也在暗中策划岳飞撤军之事。他们谋划的重要步骤是，让张俊从亳州退还寿春，命令韩世忠稳守淮东，不得继续前进，驻屯顺昌的刘锜远调江南太平州等等。所有这些，都是为了置岳飞于侧面受敌、孤军无援的境地。就在郾城大捷捷报报上朝廷的时刻，秦桧串通张俊、杨沂中，策动并唆使谏官罗汝楫向赵构上疏，说道：“兵微将少，民困国乏，岳某若深入，岂不危也。愿陛下降诏，且令班师。”赵构顺势降诏，令岳飞班师。
此时气吞金虏的岳元帅，正要召谕诸将，整装出发。忽然有朝廷使者到来，催促岳飞班师。岳飞问朝使者道：“这是什么缘故？”使者答道：“秦丞相与金国议和，已经有了头绪，所以请少保回朝。”岳飞愤然说道：“恢复中原，已经十得七八，为何中途班师？”朝使默然而回。
岳飞鉴于当时完胜战局，上书争辩，大略为：“契勘金虏重兵尽聚东京，屡经败衄，锐气沮丧，内外震骇。闻之谍者，虏欲弃其辎重，疾走渡河。况今豪杰向风，士卒用命，天时人事，强弱已见，功及垂成，时不再来，机难轻失。臣日夜料之熟矣，惟陛下图之。”
秦桧得到岳飞的上奏，非常懊恼
。秦桧撺掇赵构连下十二道金牌，催促岳飞速回。这金牌是牌上写着金字，凡是遇紧急命令，就用此牌。岳飞在一天之内接连收到十二道用金字牌递发的班师诏，诏旨措辞严峻：命大军即刻班师，岳飞去临安朝见。
岳飞接到如此荒唐的命令，不禁愤惋泣下：“十年之力，废于一旦！”然而在赵构的高压下，岳飞不得不下令班师。百姓闻讯拦阻在岳飞的马前，哭诉说担心受金兵报复：“我等戴香盆、运粮草以迎官军，金人悉知之。相公去，我辈无噍类矣。”
岳飞无奈，含泪取诏书出示众人，说道：“我食君禄，尽君事，既奉君命，不敢擅留。”百姓听了岳飞的话，顿时哭声震野。岳飞于是下令道：“愿从我去的人，速去整装，我会再等候五日。”大众齐声应命。大军班师鄂州，岳飞则往临安朝见。北方忠义军孤掌难鸣，金兀术回到开封，整军弹压，又攻取了被宋军收复的河南地区。岳飞在班师途中得知噩耗，不由仰天悲叹：“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复！”
岳飞因此上奏，请求罢免兵权，赵构却不肯答应。接着岳飞由庐州进京觐见，赵构装模作样地问了问战况，安慰了几句。岳飞只是叩头拜谢，并不道说自己的战功。退朝之后，岳飞静待命令。秦桧又派遣使者令韩世忠等，也罢兵回镇，还贬秘阁修撰张九成等人的官阶。
张九成一向不主张和议，到了此时和同僚喻樗、陈刚中、凌景夏、樊光远、毛叔度、元盥等六人，一同被降职，秦桧专意与金人议和。金兀朮留屯京亳，出入于许、郑各州，调集两河军与旧部，共有十余万人，准备再图大举。撤离喝攻打泾州不克，于是转而攻破庆阳、河东。经略使王忠植率兵去救援，被叛将赵惟清所擒，送到了金军里，王忠植不屈遇害。
金兀术听说庆阳得手，也向南进军，攻陷寿春，又渡过淮河进入庐州。赵构诏令张俊、杨沂中去救淮西，岳飞进驻江州，还令韩世忠、刘锜也督兵出援。 张俊准备分军守南岸，王德说道：“淮河是长江的屏障，弃淮河不守，这是唇亡齿寒啊。敌军从数千里外远来，粮道肯定不继，趁他们尚未准备好进攻，可以挫他们的士气；如果耽误了战机，淮河一带就非我们所有了。”
张俊犹豫不决，王德坚持道：“我父子愿意先渡江，待攻下和州后北渡。”张俊于是准许王德立刻渡江，张俊率军随后。王德在渡江时说：“明天在和州吃早饭。”果然在夜间攻下和州，早晨迎接张俊大军进入。金军退保昭关，又被王德打得败逃。追至柘皋，与金人隔石梁河对峙。当地地势平坦，利于骑兵作战。适逢大雨，河水暴涨，金军毁桥以阻止宋军渡河。
当时刘锜也自太平渡江，与张俊、杨沂中商议，图谋收复庐州。刘锜先引兵出清溪，两战两胜。
