他南下去了扬州，应天府很快没了。扬州呆了没多久，金人又来，他便继续南渡前往镇江，之后辗转到了杭州。在杭州，他也没过几天安生日子，先是苗傅和刘正彦两个领军的混蛋作乱，逼自己退位。幸亏自己机智假装顺从他们退位，为韩世忠张浚刘光世他们勤王争取了时间，这才得以复辟重新登基。这件事也让他长了个教训，那便是，这些领军的武人是不能够信任的，兵权在他们手上，随时能威胁到自己的皇位。金人没有放过他，他们渡江来了，自己继续逃跑，从杭州逃到越州，又逃到明州，再到定海，甚至有一两个月不得不乘船漂泊在海上。大海茫茫，他又晕船，每天吐得搜肠刮肚，每天浑浑噩噩。有那么一些时候，他甚至想投海自尽，一了百了。然而，他想起了自己的数次死里逃生的经历，他想起了自己认定的天降大任的老天庇护，他也舍不得自己这个皇帝的位子。他咬着牙坚持着，甚至不惜写信给金人求饶，信上那些话到现在自己回想起来都还面红而赤。但在当时，却是自己真实的心情写照，自己是真的希望他们能放自己一马。
好在臣下们没有放弃，西边的吴阶吴磷兄弟两很给力，硬生生的将金人挡在陕甘一带，正面战场上韩世忠张浚岳飞刘光世他们则抵挡住了金人的主力。连续几个胜仗之后，金人撑不住了，只得从江南退兵。终于，守得云开见月明，他终于能够真正的喘口气，真正的安稳下来了。
从温州回到临安，他改了年号叫绍兴，寓意“绍祚中兴”。意思就是说从此刻起，大宋的命运会繁荣昌盛兴旺起来。这个年号确实带来了好结果。和金人在江淮一带的作战屡屡得手，金人被牢牢的抵挡在淮河以北。拉锯战最后变成了对峙，局面基本上稳定了下来。自己从那时起才真正能睡的着觉，吃得下饭了。半壁江山稳定了，自己皇帝的位子稳定了，噩梦终于结束了。他想好好的稳定下来，好好的歇息安稳一番。
可是那个岳飞啊，哎！那个岳飞实在让自己太不省心了，他怎么就不理解自己的心思呢？他偏偏要北伐，偏偏要和金人作战，偏偏那么不识相。他倒是打仗挺有一套的，百战百胜，未尝败绩。金人见他望风而走，魂飞魄散。绍兴十年，他打到了朱仙镇，那已经是汴梁的郊外了，差一点便收复了汴梁了。自己若不及时将他召回，搞不好他还真的收复了汴梁呢。本来自己有这样的猛将在，当感到高兴才是。可是自己又怎么能高兴？
那岳飞过江北伐时打的旗号是‘恢复中原，迎回二圣’，恢复中原没问题，迎回二圣是何意？虽然自己登基之时也曾在诏书上说过‘同係两宫之复’，那便是要等待二圣回归的意思。某种程度上来说，迎回二圣的口号是自己先提出来的，可是自己说说可以，岳飞那是真要这么做呢。迎回二圣么？那两位自己的父皇和皇兄都是皇帝，他们迎接回来了之后呢？大宋朝有三个皇帝？
况且，自己的父皇和兄长是怎么待自己的，自己能有今日，也不知是怎样的苍天之佑，不知上一辈子积了多少德。那两位没把自己当人，金兵攻来时他们要自己去送死，自己还要迎接他们回来？岂非是天大笑话。他们自己断送了江山，自己逃亡千里，被狗一样的撵着追杀，终于稳定了局面，保住了半壁江山，现在倒要迎回他们坐享其成？绝无可能！