军卒仍然前进，朝廷迟迟不发使，军队行至紫陌，斛律光只好命令驻营等待。后主听到说斛律光军营已逼近都城的通报，很不高兴，急派舍人请斛律光入见，然后慰劳奖赏兵众，令其放散。拜斛律光左丞相，又别封清河郡公。
斛律光常在朝堂垂帘而坐。祖珽不知晓，骑马从其朝堂门口走过。斛律光见后大怒，对人说：“此人好大胆子！”后来祖珽在内省，高声大气地讲话，斛律光正好路过，听到后，又十分恼怒。祖珽知斛律光忿恨，向斛律光的随从奴仆行贿，还打听说：“相王很恼怒我吧？”答：“自从公主事后，相王每夜抱膝长叹说，‘盲人入朝，国家一定破灭’！”
穆提婆请求娶斛律光庶女为妻，斛律光不同意。后主将晋阳田地赏给穆提婆，斛律光在朝上大声讲：“晋阳的田地，神武帝以来常种禾，饲马几千匹，以平寇难，如今赏赐给穆提婆，这不是破坏军务吗？”因此斛律光与祖珽、穆提婆二人有了怨仇。
北齐后主高纬性格懦弱，与他的列祖列宗相比，荒淫有余，残暴稍次之，不过杀起自己的亲人来，却毫不手软。公元565年的一天，高纬在与兰陵王谈及邙山之捷时，颇有人情味地说道“入阵太深，失利悔无所及。”兰陵王听到自己的皇弟如此心疼自己，内心不免激动、热乎，深情 地回了一句“家事亲切，不觉遂然。”
正是这句表亲近、表忠心的话为他招致了杀身之祸。史载：“帝嫌其称家事，遂忌之。”因为在小心眼的后主高纬看来，家事是我高纬的，不是你高肃可以随便说的。开始猜忌拥有兵权的兰陵王是否想取而代之，想把“国事”变成“家事”。
兰陵王说错话后，深感大难将至，整日惶恐不安，尽管一再低调行事，刻意淡化自己，但终是躲不过“君叫臣死、臣不得不死”的悲剧宿命。武平四年（公元573年）五月的一天，后主高纬派使者看望皇兄高肃，送来的礼物竟是一杯毒酒。
兰陵王悲愤至极，对自己的爱妃郑氏说：“我忠以事上，何辜于天，而遭鸩也！”郑妃劝他说：“何不求见天颜？”天真的郑妃以为可能只是兄弟之间的一场误会，只要高肃向皇帝求情，就可能讨回性命。而兰陵王自己心里明白，向后主高纬讨个说法根本没有用。
一年前，和自己一起出生入死的重臣老将斛律光，不也是无辜被引诱入宫、用弓弦残忍勒死的吗？万念俱灰的兰陵王，扔下一句“天颜何由可见”，遂将鸩酒一饮而尽，毅然决然地离开了这个乱糟糟的世界。死前烧掉所有债券。
其时，兰陵王仅30岁，死后被安葬在都城邺（今邯郸临漳县境内）以西。重要军事统领兰陵王的遇害，预示着北齐王朝的行将终结。四年后，失去了军事支柱的北齐王朝被北周皇帝宇文邕灭掉，高氏子孙几乎全遭屠戮。
