这时的岳飞，回家办理了他父亲的丧葬之后，应枢密院官员刘浩的招募，在相州参加到了赵构的部队中，但是没过多久，岳飞就因为越职上书赵构，而被逐出军队。这一对冤家从此开始了10多年的君臣时光。
此后的岳飞，追随其他将领，凭借卓越的军事才华，一步步得到了赵构的赏识，甚至有了一段君臣蜜月时光，然而，随着岳飞军事力量的壮大，在以“抑武”立国的宋一代，已经注定了岳飞的“十年之力，毁于一旦”悲剧结局。
赵构，说到底，也不算中国古代历史上最昏庸的皇帝，在即位初年，小朝廷风雨飘零的时候，他的一些用人和政令还基本上可圈可点，但是随着政局的稍微稳定，宋一代的“阳痿”政治遗传因素便开始在赵构身上起作用了。
这一时候的敌方金国倾向于外向性立国，在军事外交上所向披靡，可是内政建设却很不稳定，相对于金，南宋小朝廷的内向立国更加鲜明，更多的追求内政的稳定，军事外交上却是步步守着，即便有时候让岳飞等人主动出击，也是见好就收，说到底，南宋初期一度出现的军事上的有利局面，也只是赵构为稳固自己的小朝廷而不得不行的部署。当岳飞屡次三番让自己很没面子之后，赵构终于下定决定除去这个朝廷的不稳定因素了。这也许可以解释为什么岳飞赋闲在家两个多月后毫无征兆的情况下很快就被“莫须有”的罪名杀害了。
可是，普通的老百姓却不这么看。
民间对岳飞被诛杀的原因有着许多演义，最典型的当属说岳飞是徽宗四皇子，才招致杀身之祸，对于一种说法，尽管没有更多的证据，并且颇多漏洞，史学家们对于此说法既没有肯定，也没有断然否定。
对岳飞充满了幻想而有陷于光复无望的人们很愿意相信正因为岳飞是赵构的哥哥，和赵构有同等的皇位继承权，而且才干和人望都在赵构之上，赵构才非杀岳飞不可。正因为岳飞是赵构的哥哥，秦桧才觉得罪名难下，糊里糊涂地说了个“莫须有”，怕万一定了什么罪名，下面拍马屁的顺杆子爬，把岳飞的祖宗十八代都骂了，那可就骂得是皇帝的祖宗了……
那为什么皇子岳飞怎么会流落到汤阴县去呢？
故事大概是这样的：宋徽宗的时候，皇宫里有个姓姚的宫女，在三十多岁的时候，因为一个偶然的机缘，怀上了皇帝的孩子。为了保证皇家血统的纯洁，姚氏借在崇宁元年十二月，皇上要放一批宫女出宫的机会，乔装打扮混在那些宫女里面，出了皇城。
逃出开封府，崇宁二年二月十四日，姚氏生了岳飞，然后带着孩子一直流落到了河南汤阴县，正碰上发大水，便编出了被大水冲到这里的谎话，然后在当地居住了下来。岳飞一天天长大。
