不特此也，秦檜跟著又向趙構說：「岳飛已收復中原邀買人心，現在帶兵已達二十萬以上，還在招收各地盜賊。兩河群盜（指各地義軍）和岳飛勾結的已有一二百萬之多。眼看兵力越來越大，稍一叛變，這片江山便非宋室所有。即使不然，他將淵聖（趙桓）迎回，挾以自重，朝廷廢立，更全由他一言而決。金人至多隻想劃淮為界，還能保住這半壁江山；岳飛一旦得志，卻比金人厲害得多。」
趙構前貶主戰派大臣張浚，本就有過「寧肯亡國，不用此人」之言。這種卑鄙無恥的話，正表示他情願把國家亡於外敵，也決不容自己人坐大的一種想法。
宋朝平日大將待遇最優，但統兵極少，連韓世忠在抗敵之時，本軍都未超過三萬人。岳飛雖號常勝之軍，先前地位在當時諸將帥之下，所統人馬又少。即使所見與朝廷相反，趙構還是相當信任。自從持節封侯、平了楊么以後，漸漸兵多將廣，軍容日盛。加上奸臣常進讒言，由不得使趙構生出顧慮。一聽秦檜這種說法，除怕趙桓回來奪他的地位以外，又多了一樁心病，當時嚇得汗流浹背，連說：「丞相真個老成謀國，慮得極是。」忙傳特旨，命岳飛急速班師！
岳飛知是奸臣賣國，暗助敵人的陰謀毒計。立時回奏：「金人銳氣已喪，盡棄輜重，疾走渡河。而我豪傑向風，士卒用命，時不再來，機難輕失……」不肯班師。
秦檜知岳飛志不可奪。又對趙構說：「陛下只許臣便宜行事，臣定將岳飛召回。倘若叛變，斬臣以謝岳飛便了。」趙構將頭微點，秦檜得了默許，大喜辭出。首先把張俊、劉鑄、韓世忠、楊沂中等全軍召回；再連發下金牌詔旨，立逼岳飛班師。
各路金兵先後受到劉鑄、吳磷、韓世忠等猛擊和牽制，岳飛更是他的死對頭，兵強將勇，銳不可當。先佔據的兩河城邑，多被各地義軍奪回，鬧得金兵夜不安枕，前方士氣更是消沉。連兀朮那樣素來剛愎自信的人，都時時刻刻打點著逃亡的主意。岳飛這面卻是全軍士氣高昂，忠義奮發。只等一切準備停當，便要一舉收復中原，直搗黃龍。雙方優劣勝敗之勢，已成了極鮮明的對比。
這日清早，岳飛召集眾將指示機宜，準備全軍出動。有幾路奉命先行的將士，已然整裝待發；一個個精神抖擻，勇氣百倍。正在非常緊張興奮頭上，忽報朝廷降下詔旨，岳飛前數日又曾上過請命各路將帥一同進攻、一舉收復中原的奏本，全軍將士都以為是朝命犒軍，並許出戰的好音。等把欽使迎進，一宣讀詔旨，競是促令班師，不許遲延。下餘都是一些無恥的舊套和敷衍的廢話，不禁大失所望。
岳飛還能強忍悲憤，將士們卻憤激起來。來使正是糧餉万俟（上佔下內），偏不知趣，開口「秦丞相」，閉口「秦丞相」，立逼岳飛要討回話，問幾時班師。張憲首先忍不住怒火，抗聲問道：「欽使一句一個秦丞相，難道這詔旨是秦丞相下的麼？」
万俟（上佔下內）惱羞成怒喝問道：「我奉聖旨而來，你是何人？也敢在旁多口！」
張憲大聲道：「未將副都統制張憲。事關國家安危，有話自然要說。」
万俟（上佔下內）先聞張憲英名，又見他身材高大，威風凜凜，說時，雙目正注自己，英氣逼人。不由吃了一驚！還未及答，牛皋也插口問道：「我等身經百戰，出生入死，好容易把金兵殺得大敗。眼看收復中原，為國雪恥，你偏一句一個秦丞相，要嶽元帥退兵，難道此是秦檜的主意不成？快說！」
万俟（上佔下內）見牛皋聲如洪鐘，鬚髮皆張，旁立諸將都是滿面怒容，越發氣餒心寒，只得強賠笑臉道：「牛將軍不可多疑。這樣大事，若非出自聖命，誰敢妄為？不過秦丞相乃朝廷心腹重臣，他的意思也就是聖上的意思罷了。」
岳飛哈哈大笑道：「欽使此言差矣！你只知當朝首相是朝廷重臣，可知君優臣辱，君辱臣死的道理麼？我奉的是朝廷詔旨，不是接了秦丞相的私書。如今十萬大軍與敵對峙；還有數百萬百姓在此，都不能棄之而去。不問班師與否，均須有個安排，這不是兒戲的事。欽使請先回朝，我自行回奏好了。」
万俟離不敢再說，只得負傀告辭。岳飛仍以禮送，只是不再和他交談。万俟（上佔下內）走到外面，見全軍將士都以怒目相視，嚇得連忙上馬馳去。岳飛回與眾將幕僚計議，眾將紛紛開口，都說：「勝而讓敵，從古所無。此事不是奸臣矯詔，便是朝廷受了奸賊蠱惑。望元帥以國家百姓為重，乘著回奏的幾天工夫，提前出戰。先使金兵全軍覆沒，攻下汴京，生擒了兀朮，再看朝廷有何話說。」
岳飛本就有此打算，剛說「這樣也好」。跟著連線探報，張俊、劉光世、楊沂中等將帥首先撤兵，連劉鑄、韓世忠也連奉詔旨，不得不收兵退去，各路金兵因知兀朮危急，都往汴京這面趕來。岳飛滿面愁容，仔細想了一想，和眾將一談形勢和敵兵的來路，覺著搶前出戰還來得及。只將兀朮擒住，下餘各路金兵不戰自亂。正忙命黃機密速寫奏疏，一面升帳準備發兵。不料又有急詔到來，大意是說：「我軍糧餉不繼，不耐久戰，各地大軍盡撤，金人已答應還我失地，送還兩宮，嚴令即日班師，不許違詔。」
岳飛看出詔旨暗示各路宋軍全撤，使其孤立，並還要斷他的糧餉。再若抗命，甚而要以叛逆問罪，不禁慨嘆道：「我軍十年苦戰的心血，難道就廢於一旦了麼？」來使當然也是一個糧餉，路遇万俟離，已受了指教。只將詔旨宣讀，一句話也不多說，便告辭而去。
岳飛剛忍住悲憤把人送走，還未迴轉；遙望前面塵頭起處，有二十來騎飛馳而來。臨近一看，一員神武（禁軍）軍統制手舉一面金牌，帶著二十名盔甲鮮明的校尉，同騎快馬，做一窩蜂馳到，同聲呼喝：「岳飛速接金牌詔旨！」
這類金牌，上有「如朕親臨」的詞句，從不輕發。照例隨行校尉都帶有刑具枷鎖，無論文武大臣，稍有違抗，來人便可將他當時斬首，或是鎖拿問罪，死活憑來人一句話，絲毫沒有商量。
岳飛剛聽來人面傳聖旨，將金牌接過。前面塵頭又起，又是一員統制帶著二十名校尉，捧了金牌飛馳而來，除立逼班師外，別無話說。總算昏君奸賊還有顧慮，來人只是虛張聲勢，並未帶刑具，校尉的刀也未亮出，只在營外喊了一陣，說「聖意已定，元帥三思」，便相繼縱馬馳回。
岳飛和眾將自然萬分憤慨。剛同回到營內，談不到幾句話，金牌又到。來使所說還是那一套，說完就走，更不停留。岳飛二次回營，還未坐定，張保忽報，朝廷不知發下多少金牌詔旨，就要到來。岳飛見眾將都是滿面怒容，有的直恨不能把金牌打碎！忙攔道：「不可如此！且等接完金牌再作計較。好在方才回奏，只說容我熟計而行，非到萬不得已，仍照預計行事便了。」
話未說完，王橫來報，第三次金牌相隔只有二里之遙。岳飛想了一想，命在營外設下香案接旨，索性接完金牌再說。剛率眾將走到營外，遙望前面果然又來了好幾起；都是一員統制帶領二十名校尉，一隊接一隊走馬燈也似飛馳而來。接旨時，雙方問答仍和先前一樣，當下又連線了四道金牌，等接過金牌，送往裡面供起，又有金牌相繼馳來。
這一天之內，先後接了十二道金牌。未了三道並還帶了刑具和刀斧手。不過來使為岳飛和全軍將士正氣英名所懼，只管耀武揚威，都是虛張聲勢。傳完詔旨，交過金牌，便即馳去，誰也不敢作威作福。
岳飛接完金牌，天已入夜。休說無暇商計軍機，連飯都沒顧得吃。覺著費了無數軍資民力和十年苦戰的心血，忽然廢於一旦，自是萬分悲憤，忙召集眾將和黃機密、於鵬等幕僚商計。牛皋、張憲等大將都說：「‘將在外，君命有所不受！’先把中原收復，奪回燕雲，再向朝廷請罪，我等死而無怨。」
談到天亮，岳飛只聽眾人說話，時而低頭沉思，時而起立往來走動，極少開口，忽然慨嘆道：「朝廷既連發下十二道金牌，已是無理可講。若不奉命，非但軍糧器械決無後繼，甚而還要以叛逆的罪名加在我們身上。如今各路將帥已全撤兵，我們這一支孤軍，外有強敵，內有權奸，豈不成了腹背受敵之勢，以前兵少，還可取敵之糧以供軍用。此時兵多，敵人又與奸臣勾結，知道軍中缺糧，戰時堅壁清野，攻少守多，退時縱兵焚掠，野無青草。中原百姓久在敵騎蹂躪之下，偽齊劉豫搜刮已空，他們只管心依故國，有如望歲，無奈力不從心，哪有餘糧供應大軍！以目前形勢而論，後無援兵，尚不足慮；糧食缺少，卻是致命一傷。還有最可慮的是兩河百萬忠義之士，每日引頸苦盼來歸。視此忠義奮發，固是令人感佩，但那起義之處，多半近在他們鄉土，地均分散，各自為謀。以前憑山據險，結寨自保，已不免於飽受飢寒；如今所佔州郡，地方殘破，無糧可取，又多成了一支餓軍。新近來投的幾支義軍，均因敵人退時焚掠一空，實在不能存活，不得不將所得城邑捨去，轉戰來投。若非沿途百姓把勉強藏留度命的少數糧草傾囊相贈，正不知途中要餓死多少！兩河義軍人數這樣多，他們一面熱望著能與我軍會合，收復中原，雪恥復仇；一面卻又以為我軍一到，一切都可如願以償。其所望於朝廷者甚大，而朝廷已與他們的想望背道而馳；其所望於我軍者甚多，而我軍則無以為應。一旦渡河北進，這百萬義軍定必紛紛來投，聞風繼起者更不知有多少。有何良策，妥為安置？他們什九起自田間，能與敵人相抗，使其疲於奔命，全由多年苦戰、出生入死中磨練出來。攻堅襲敵，是其長所；軍規營伍，多非素習。既不能因為內有一些烏合之眾，沮其忠義之氣，不令來歸，又不能因為軍資缺乏，使其枵腹殺敵，置之死地。一個處置不當，將要大失人望而貽無窮之患！使將來收復中原，更多艱難。」
「我苦想了這一夜，只有收置義軍這件事，比什麼都難。我和諸位將軍都是身經百戰，出生入死，傷痕累累，幾時怕過事來？便是朝廷屢次信任奸臣，專主求和，也都抗疏力爭，遇到自期必勝之機，常是堅不奉詔，並未曲從。我豈不知‘將在外，君命有所不受’、‘民為貴，社稷次之，君為輕’的道理？無奈孤軍深入，兵家之忌。收置這百萬義軍比和百萬金兵對陣，還要難上十倍。」
「目前能夠抵禦敵人的也只有我軍和韓（世忠）、劉（鑄）、二吳（玠、磷）這有限幾路人馬。我軍兵力較強，關係更大。與其只顧與敵拼命，使未來收復中原的主要兵力調殘損失，甚而全軍覆沒，以壯敵人吞併我國的野心，還不如退保襄漢，經劃營田，助民耕種，養機待時，謀成而動。使我軍糧有以自給，無須朝廷籌運之煩，免卻奸臣作梗之憂。一旦出兵，兩河義軍依然聞風響應，收復中原，一舉而定呢！況且敵人決無信義，必敗和盟，內好通敵陰謀終必敗露。此時暫且奉詔班師，使朝中奸賊無可進之讒；將來準備齊全，更多必勝之算。不是比進則與敵同歸於盡，退則一敗塗地、不可收拾，強得多麼？」
眾人先都憤慨嘆息，或是垂頭喪氣，聞言覺得岳飛所說有理，又全興奮起來。
眾將退後，隔了半日，牛皋忽然來報：遠近百姓聞班師訊息，大為憤慨。如今四面八方潮湧而來，口口聲聲要請元帥北進，不可回去。並說：「我等陷敵已十二年，平日受盡苦難，好容易盼得‘岳家軍’來，將敵人打退，眼看收復中原，為何忽要班師？我等以前頂盆焚香，歡迎我軍，和久旱逢甘雨一樣。大軍退後，敵人決不相容。今日情願死在元帥馬前，也決不甘心去受敵人的殘殺！」
牛皋話未說完，大營四外已是哭聲震野，嘈成一片。岳飛大驚道：「由昨日起，我們只顧商計班師與否和未來破敵之計，怎會忘記了他們？差一點便鑄成了大錯！你快去請上幾位父老來相見。」牛皋領命而去。
眾父老剛一走進，便跪伏在地，號哭起來。岳飛連忙還禮，命人扶起，開口就說：「我決不丟下你們不管！請看這些詔旨和十二道金牌，怎敢違抗呢，我已準備除退軍日期外，為諸父老百姓再多留五日。你們趕緊準備隨軍南去。我先派人馬護送，將漢上六郡的問田分與你們可好？」
眾父老見桌上除班師詔旨外，還供著十二道金光耀眼的金牌。上面都刻有「如朕親臨，違者立斬」血也似紅的八個字。知道岳飛無法違抗，只得拜謝辭去。眾父老走後，岳飛恐兀朮由後追襲，忙傳急令，先把百姓送往南方，一面散佈不日與兵渡河，收復中原的訊息。
兀朮聞報大懼，正準備丟下汴京，連夜逃走。忽報宋軍全撤，岳飛自帶一支人馬斷後，軍容甚整。兀朮成了驚弓之鳥，竟不敢追。等各路宋軍全數撤退，才率領殘部進攻。宋軍已收復的失地，又漸漸被金兵奪去了。