對此岳飛非常不高興，他心灰意冷地離開了建康，溯江西上。岳飛雖然非常不滿，卻不敢直接對皇帝發泄自己的情緒，於是以“將相議事不合，乞罷兵守餘服”爲名，向皇帝上奏辭職。
趙構的批示還沒下來，岳飛就回到了江州廬山東林寺附近的居第。趙構接到岳飛的奏摺後，立即下旨要他復出治事。
趙構雖然表面上不動聲色，但實際上卻非常不滿，在他看來，岳飛的舉動就是大不敬。宋高宗聽取張浚的建議，派張宗元前往鄂州，擔任岳家軍的宣撫判官。
雖然岳飛將岳家軍的軍務委託給了張憲，但此時張憲也因病離職，朝廷又派張宗元前來，結果引發岳家軍內部的混亂，導致軍心慌慌。
此時岳飛也已經接到趙構的旨意，但他仍然沒有返回軍營的意思，再度向宋高宗提出要在廬山爲母親守孝。趙構接到奏摺後，再度向岳飛下旨，表示軍情緊急，希望岳飛不要推辭，速速返回軍營，不要再有所陳請。岳飛接旨後，仍然沒有復出的意思。
趙構沒有辦法，只好下發了第三道旨意。南宋朝廷料到岳飛可能還會不遵旨意，讓三省、樞密院向岳飛手下的參議官李若虛、統制王貴下了一道命令，讓他們去廬山敦請岳飛，假如違抗命令，以軍法從事。
李若虛見到岳飛後，岳飛依然沒有復出的意思。李若虛說道：“是欲反耶，此非美事。若堅執不從朝廷，豈不疑宣撫。且宣撫乃河北一農夫耳，受天子之委任，付以兵柄，宣撫謂可與朝廷相抗乎！”
在這種情況下，岳飛才返回軍中，同時以待罪之身向朝廷上書。雖然趙構沒有怪罪岳飛，但這是因爲當時的戰況緊急。
不過，趙構在給岳飛的一道御札中，警告岳飛，“犯吾法者，惟有劍耳”。在趙構看來，岳飛非常跋扈，居然敢三次違背自己的旨意，到底誰纔是老大？
總之，岳飛謎一樣的操作整的趙構寢食難安，但趙構又不敢拿岳飛怎麼樣，畢竟這萬里江山還需要岳飛的守護。
李寺當然知道趙構和岳飛之間的恩怨情仇，他指着天上的月亮道：“你看，月有陰晴圓缺，人有優點缺點，你對岳飛是不是有些偏見？”
“我是問你和岳飛說了什麼，誰問你岳飛有什麼缺點了。”
“你要是對岳飛沒有偏見，怎麼會在意我和岳飛說什麼？”
李寺知道趙構心裡的想法，趙構是怕李寺攛掇岳飛謀反，李寺已經說中幾次軍情，要是和岳飛聯手，這邊關局勢可就緊張了。
“哼，我只是好奇，你是怎麼搭上岳飛的，難道你對軍國大事也開始感興趣了？”
“國家興亡匹夫有責，我當然要對軍國大事感興趣，沒有和平，生意做的再大又如何！”
李寺說的是真理，賺再多的錢，國家要是不太平，有命賺沒命花。
“我見你和岳飛相談甚歡，你們到底談了什麼？”
趙構還是想知道，以岳飛的性格，很少有人能和他喝的那麼盡興，談的那麼愉快，李寺到底給他灌了什麼迷魂湯。
李寺指着不遠處的石凳說：“我們坐下來說吧。”
雖然外面有些涼，但是坐着總比站着舒服，再說那幾條石凳和石桌在小竹林裡面，竹林再稀疏，多多少少也能擋些風。
“我認岳飛做了大哥。”李寺坐下來說道。
“什麼？”趙構有些吃驚，因爲岳飛最不喜歡拉幫結派，而且李寺不過是個商人，岳飛堂堂軍神怎麼會看上他？
“你這什麼表情，怎麼，我不配當他的小弟嗎？”李寺敬重岳飛，但是在穿越人的面前，就算是軍神，也沒有必勝的把握。
“我是奇怪，你不是無所不能嗎，怎麼會甘願當別人小弟，你有時候連朕都不放在眼裡。”
“老趙啊，你就別在我面前裝模作樣了，是誰連下三道聖旨催岳飛出山的？”李寺揶揄道。
“你！”趙構沒了脾氣，論打仗，他確實不如岳飛。
“所以啊，人各所專，打仗岳飛是高手，賺錢我比你倆厲害，當皇帝你是這個！”李寺衝趙構豎起了大拇指。
李寺不得不承認，趙構當皇帝是稱職的，南宋中興，靠的難道就只是中興四將？沒那個爲首的皇帝，將軍們再厲害都是一盤散沙。
趙構指使秦檜殺岳飛，難道真的是一時糊塗？
以李寺這麼多天和趙構的相處來看，趙構的見解見識絕對不輸歷史上任何一個明君。
後人詬病趙構，一是因爲岳飛，所有人都覺得趙構殺錯了岳飛，但是從長遠來看，岳飛在那樣的歷史時期是不得不死。
二是趙構軟弱，不想着收回失地，只知道偏安一隅。但是要知道，正是趙構的求和政策，南宋纔有了國泰民安的局面，經濟在世界上排名第一。
三是都認爲趙構是荒淫無道，很多人說趙構跟他老子趙佶是一丘之貉，好色之至，但這也許是謠傳，但是看趙構的壽命，他活了八十幾歲，哪個荒淫無道的皇帝能活那麼久，這可是在古代。
歷史上最長壽的皇帝是乾隆，活了八十九，趙構以八十一的高壽排名第四，從李寺認識趙構以來，他還從來沒見過趙構有什麼異常的好色舉動。
當然了，這肯定和趙構失去了那個功能有關，沒有了色慾的牽絆，就能集中精力在其他方面，這就好像牲畜被閹割過後，都是非常的優秀。
李寺對趙構的認可，當然是得到了趙構的熱烈迴應，“算你識貨！說說看，岳飛爲什麼願意收你做小弟？”
“這有什麼好說的，英雄所見略同啊，我們都是主戰派。”
要和一個人迅速拉近關係，就只有順着毛捋，在一個頻道上，就容易交流，有了共鳴，就能稱兄道弟。
“你以爲主戰派還少嗎？就你是主戰派！”趙構這個皇帝其實很窩囊，他當年出使金國主戰的時候，國內偏偏主和，現在他當了皇帝主和，偏偏有那麼多臣子跳出來主戰。
爲什麼就不能上下一心呢？
“主戰派是很多，但我和岳飛是堅定的主戰派，不瞞你說，我已經和岳飛打賭，要是金軍在三月份以後發動南侵，我就去幫他打仗。”
趙構嚇了一跳，抓着李寺的手急急問道：“你說什麼，三月南侵？這可不到兩個月了！”
李寺甩開趙構的手說道：“你慌什麼，我是說三月以後，就算是三月，我們現在的準備不也足夠了嗎？”
李寺說的準備，當然是指軍餉，從去年下半年開始，李寺就一直在爲軍隊存儲糧草，他賺的所有錢都可以立馬充作軍資。
加上趙構在李寺的鼓動下，也囤積了不少私房錢，現在趙構的封樁庫，可以說是滿滿當當。
“老李啊，你是沒打過仗，我們是準備了不少軍餉，可是真要打起來，這點錢只夠打十天半個月，還有，打仗不光是錢的問題，軍隊的配合等等也不容忽視啊。”
趙構之所以不願意打仗，就是這幫將領實在是太難安排了。
有本事的吧，不聽使喚。
沒本事的吧，貽誤戰機。
總之一開戰，趙構就頭大，所以這些年，他都是和平愛好者。
“不管你願不願意，該打的仗一場都跑不了，你就做好準備吧。”
李寺知道宋金之間必有一戰，而且趙構現在的心態和他穿越來之前不一樣了。
歸根結底，李寺給了趙構很大的信心。
趙構嘆了一口氣道：“雖說我早有心理準備，但是真的要開戰了，我又心裡沒底。”