正当韩世忠招兵买马，扩大队伍准备大干之时，形势急转直下，投降派势力获得了宋高宗的支持，因为岳飞率领的抗金大军已在中原一带大得其势。宋高宗所担心的是一旦打败金兵，迎回他的父皇（徽宗）和哥哥（钦宗）。所以，在他的支持下，秦桧收了韩世忠、岳飞、张俊三位抗金大将的兵权。
秦桧一日之内连发十二道金牌，强令处在抗金最前线的岳飞罢兵回临安。因韩世忠对宋高宗有救驾之恩，因此，升枢密使，明为升官，实为剥夺其兵权。岳飞父子被捕下狱，秦桧独霸朝政，无人敢言，但韩世忠不管这一套，他面见秦桧，当面指斥道：“岳飞父子何罪？为何将其关押？”
秦桧答曰：“飞子云与张宪书，虽不明，其事体莫须有”。韩世忠斥道：“‘莫须有’三字能服天下吗？”好友劝他，得罪秦桧日后难逃报复，而韩世忠却说：“今吾为已而附合奸贼，死后岂不遭太祖铁杖？”韩世忠见岳飞父子被处死，大好的抗金形势白白丧失，自己又无能为力，便毅然辞去枢密使的官职，终日借酒消愁。
在绍兴五年农历八月二十六韩世忠妻子梁红玉遇伏遭到金军围攻，腹部重伤力尽落马而死，之后韩世忠一直郁郁寡欢。说起这位梁红玉也是不简单。南宋抗金女英雄，韩世忠之妻。在南宋与金的战争中，她与丈夫韩世忠曾共同指挥作战，屡胜金军，至于事实真假，实难考证。
据说梁氏在酱缸一样的妓院里摸爬滚打，她见过大世面，可以说阅人无数。安排自己的终身大事，果然是好眼力！她把“红绣球”果断地抛给了一个灰头土脸的陕北小子。当时，韩世忠神情沮丧，四处碰壁，根本就没成气候，谁敢肯定，他就是未来名扬四海的彪虎之将呢？
女人神奇，恰恰能未卜先知，像勘探金矿似地评估女婿，像雕琢玉石那样重塑丈夫。一般说来，夫妻两强，很难并立。尤其阴盛阳衰的局面，稍一疏忽，就闹掰了。韩世忠，堪称一代名将，非常强势。梁氏既能相夫，又可相国，她在丈夫身边谋求了一个游刃有余的位置，可见，这个女人做事相当老成，很讲艺术。
韩世忠经过多方面打击，最终忧愤而死，卒于1151年（绍兴二十一年），时年六十八岁，死后被拜为太师，追封通义郡王；孝宗时，又追封蕲王，溢忠武，配飨高宗庙廷。
