高宗其实挺器重岳飞的，听到这样的话，也想了很久，叹了口气，才勉强答应，让秦桧一手操办去了。
于是秦桧先用釜底抽薪的计谋，命令韩世忠、张浚、杨沂中、刘锜各自把军队驻扎在以前的地方，韩世忠回到楚州（今江苏淮安）、张浚回到建康（今南京）、杨沂中回到泗州（今安徽泗县）、刘锜回到太平（今安徽当涂）；又命令四川的众将领胡世将、吴鳞、杨政、郭浩等如果没有得到诏令，不要轻举妄动。
这一年的七月二十，秦桧一天连下了12道金字牌，命令岳飞班师回朝。岳飞悲愤交加，于是哭着向临安奏请：“臣十年的劳苦将在今天被瓦解了！权臣误国啊！”
岳飞得到消息，韩、张、杨、刘各军都已经接到命令撤退了，而自己的军队也已经深入敌境，又怕金兀术察觉阻断岳家军的归路，所以岳飞放出风声说：“大军明天渡河杀敌。”
金兀术后悔自己听了那太学生的话，又怕汴京城内的老百姓对自己不利，就连夜弃城逃跑，向北跑了100多里才停下。
岳飞忍着悲愤，下令班师回朝。父老百姓都牵着马挽留岳飞，哭着说：“我们为咱们军队运粮草，迎接宋朝大军，金人早已经知道，岳将军您要是走了，我们就没一个人能活命啊！”
岳飞也无可奈何，忍着泪水，出示了金字牌，说道：“我不是不愿意留下，只是朝廷有诏书，让我立刻班师回朝，我不敢违背诏书擅自留下啊！”老百姓也知道事情已经难以挽回，一时间哭声震天。
岳飞回到蔡州，又有好几百个进士以及老百姓一起挽留军队。岳飞只能把金字牌放在案几上，让他们观看。大家一见事情已经这样，哭声四起，说道：“这可怎么办啊？”
岳飞于心不忍，只能说到道：“你们如果愿意迁徙，我会划出汉上六郡的闲田，让你们耕作谋生。”
等到军队离开的时候，百姓也开始迁徙，万人空巷，老幼相携，不绝于途。
难和奸臣相容
岳飞带领着岳家军挥军北伐，占据了绝对优势，打得金兵连连败退。眼看收复失地、迎还二帝的壮志将要得酬之时，却突然被迫班师回朝。这实在是功败垂成，让岳飞沮丧不已。他已经心灰意冷，失望透顶，就上奏章请求朝廷解除自己的兵权。高宗当然是不肯这么做，他想尽办法去安抚岳飞。
九月初一，岳飞到达临安，高宗为了对岳飞表示嘉奖，颁发了没有填姓名的补官文凭481道，由他委派正任承宣使以下的官吏。
这时候，金兵又开始四处侵扰，入侵淮宁、攻打颖昌、侵犯河南、进军川陕，并且有意进犯唐、邓州郡。岳飞又奉命分头救援。
绍兴十一年正月，金兀术看到宋军都被召回去了，就聚集了十万大军，进犯淮西，一举攻下了寿春（今安徽寿县），又渡过淮河，攻陷了庐州（今安徽合肥）。负责防卫淮西的张浚、杨沂中、刘锜，合力抵抗来犯的敌人。高宗又命令岳飞从黄（今湖北黄冈）、蕲（今湖北蕲春）两地绕到敌人身后，支援淮西守军，致使敌人腹背受敌。
岳飞接到诏告，此时他正身体不适，感染风寒，咳嗽不停，但是他仍旧不顾疾病缠身，亲自率领背嵬精骑兵，连夜赶往庐州。金兀术一听岳飞来救援，郾城的伤痛记忆犹新，就连夜带领部队逃回淮北，他的部下韩常见到这种情景，也就渡过淮河向北逃走了。庐州之围被化解，岳飞暂时屯兵舒州（今安徽安庆）待命。
金兀术听到岳飞由庐州回师舒州，又转军进袭濠州（今安徽凤阳），高宗又命令岳飞率兵与韩、张、杨、刘会师援救。岳飞奉命立刻赶往救援，抵达定远（今安徽定远县），离濠州不远，金兀术得到消息后又逃跑了。
通过这些情况观察，金兀术入侵淮西，并不是非要攻城拔寨，而是要困扰宋军，让他们疲于奔命。这正如三月十七高宗写给岳飞救援韩世忠的手谕上说的：“累得卿奏，往来庐舒间，想极劳勚，一行将士，日夜暴露之苦，道路登涉之勤，朕心念之不忘。”
秦桧占据相位，高高在上，但是心中念念不忘的是众将领手握兵权，难以控制，他最怕朱仙镇的一幕重演。范同向他献计说，请将三大帅同时调到枢密院，自然解除兵权了。秦桧听了之后很高兴，当即密奏高宗，以柘皋（今安徽巢县西北之重要市镇）之捷为理由，召韩世忠、张浚、岳飞一起赶赴临安，论功行赏。
高宗召见范同，范同奏明高宗说，祖宗定制的规矩向来如此，军权统归朝廷，地方不得拥有军权。现在三大帅都拥有很大的兵权，开府设官，这好像建立另一个朝廷一样。如果他们任意一个有了异心，恐怕不好控制住。高宗觉得他说得很有道理，立刻命令范同与给是中林待聘，连夜在学士院中草拟诏命。为了不泄露机密，当夜就封锁了学士院。
第二天，高宗就派韩世忠与张浚为枢密使，岳飞为枢密副使。四月二十七又罢除韩、张、岳三个宣抚司的职位。高宗此时只听信秦桧、范同的意见，满足于他们口中所谓的中央集权。他们从不曾想过，一旦有了警报，该怎么御敌呢？
一天，黄机密从鄂州赶来向岳飞辞去官职，说自己将要回乡务农，对仕途这方面心恢意冷了。岳飞听后十分悲痛，更是十分悲愤。
送走了黄机密，岳飞每天都是抑郁寡欢。心想，自己哪天也能像黄机密一样当一个闲云野鹤呢？可是眼前最紧要的还是如何避嫌释疑，于是立刻奏请朝廷请求交出背嵬亲兵，并请求将家眷由江州迁来临安居住。
五月十一，有诏令说让韩世忠留在枢密院办事，让张浚与岳飞一起前往楚州，检阅军马，安排战略防御，并以同以枢密行府的名义抚定韩世忠军马。
于是，岳飞与张浚一起去相府拜见秦桧。
秦桧说：“你们这次去，要防着韩世忠的亲信！”
岳飞冷笑一声说：“现在韩太保（韩世忠）已经调到职枢府，楚州的军队就是朝廷的军队，韩太保怎么能控制得了呢！”这句话让秦桧没有任何理由辩驳，秦桧脸色变得很难看。
而张浚却恭维地说道：“太师您考虑得对。”
岳飞暗自想到，我很难与秦桧、张浚等人苟同，与其以后受到牵制，不如现在急流勇退，就上奏朝廷请求辞去枢密副使一职，朝廷不准。岳飞无奈，只有与张浚一起去楚州。
张浚很清楚秦桧对韩世忠很不满，所以对岳飞说：“朝廷之所以留下韩世忠，让我们来楚州检阅军马，无非是要我俩乘机把军队平分，控制住局面而已。”
岳飞不以为然地说道：“国家抵御外敌，恢复中原，就只有咱们三四个人。万一皇上又让韩太保领军，你我二人还有什么脸面与他相见呢？”
张浚听后十分不快。后来两个人巡视楚州城，张浚说：“这城太过单薄，不能御敌，应该修缮。”
岳飞针锋相对地说道：“修缮城府，只是为了保命，而我们所应做的是该如何杀敌，恢复疆土。”
张浚很恼怒，却又没法发作。张浚以前本来十分器重岳飞，后来因为岳飞受朝廷不断提拔，与他平起平坐，要与他对立了，就心生嫉妒。虽然岳飞对他处处恭谨小心，但张浚还是无法释怀。所以张浚回到朝廷，就散播流言中伤岳飞，说他打算放弃山阳（即楚州），退保长江。
楚州军吏耿着曾私下对总领胡纺说道：“两个枢密这次前来，一定是要瓜分军队。本来军队挺好的，他们一来事情就不好了！”
胡纺将这话上告朝廷，秦桧立刻将耿着抓捕，将他投放到大理狱，严刑拷打，想要诛连韩世忠。
岳飞不忍心看韩世忠被无辜牵连，就写信给他，告诉他事情的经过。韩世忠惊恐万分，亲自拜见高宗。
高宗也很惊诧，安慰他说道：“怎么会有这种事情，朕会为你做主的。”
第二天，高宗向秦桧查问这件事，秦桧一看事情要败露，只能说：“韩世忠是国家栋梁，忠心无二，怎么能任意受到株连呢！”秦桧不得已，只有借着诋毁罪的罪名将耿着发配了事。
秦桧为了这件事情每天都愁眉不展，恰巧一次张浚过来拜见，秦桧恨恨地说：“不知道是什么人将这件事露泄给韩世忠，让他抢得先机有自己澄清的机会！”
张浚想也没想就说：“不会有别人，一定是岳飞。临去楚州前他不是也曾为韩世忠辩解？”
秦桧咬牙切齿地说道：“岳飞！我不杀你，誓不为人！”
秦桧说完，知道自己失言了，心想必须拉拢张浚，才能不会让岳飞知道，便对张浚说道：“我原本想奏报皇上由你一个人执掌枢府，不想皇上却又委任韩世忠与岳飞。如果能去了韩世忠和岳飞，全国兵权就由你一个人执掌了！”
张浚拜倒说：“这都要靠太师您提携了。”
于是秦桧与张浚便合谋排挤岳飞，首先让监察御史万俟卨向朝廷奏请弹劾岳飞的三个罪状：
（一）爵高禄厚，志满意得，日益颓惰；
（二）淮西之役，逗留不前；
（三）公然对将佐倡言，山阳不可守，沮丧士气，动摇民心。
原来有个叫万俟卨的人在岳飞坐镇鄂州的时候，为了讨好岳飞，曾经当面提出“足兵”、“足财”、“树威”、“树人”四个策略。
所谓“足兵”，就是建议岳飞要不顾朝廷的命令，扩充军旅；所谓“足财”，建议岳飞设法充裕财源，这样就可以雄踞襄汉，举足轻重；所谓“树威”，建议岳飞借着理由诛杀在朝的大臣，在朝廷示威；所谓“树人”，建议岳飞在管辖范围之内，遍布亲信，朝中也应有密切的同僚可以通信，这样不会孤立无援，遭人暗算。
岳飞听完很不高兴，斥责他说：“我岳飞这一生，只知道有朝廷，不知道有个人。你竟劝我拥兵自重，割据称雄！你说这种话，我本该将你查办，但是见你千里迢迢赶过来，我今天就放过你，今后别再来找我！”
万俟卨乘兴而来，败兴而归，一腔怨气无处使，到了建康，他就曾经上疏弹劾过岳飞，秦桧把他收为心腹，举荐他为监察御史，万俟卨也就死心塌地投靠在秦桧的门下。