从晋阳东巡，他常常单骑飞驰，解衣散发而归，颇有其先祖放荡的遗风。高纬有个异母兄弟，名叫高绰。高绰是个残忍凶恶的人，被封为南阳王，领冀州刺史。他经常把人扒得精光，用颜料在身上画上各种野兽，再驱使狗去咬，以此为乐。高纬听说高绰十分残暴，派人把他抓来审讯，而高绰满不在乎，仍是谈笑自若。
高纬对他毫无办法，也没有给他定什么罪。有一次，两人闲唠起来，高纬问高绰：“你在定州时，干什么最快乐？”高绰爽决地答道：“把蝎子放在大容器中，再把粪中的蛆多放进一些，蛔被蝎子蜇得蠕动不已。那才最好看呢。”高纬第—次听说有这样好玩的，于是命人抓来一些蝎子，放在浴盆内，又把一个人剥光，逼他躺在盆中。
不一会儿，他的身子上爬满了蝎子，蝎子到处乱蜇，把那人蜇得体无完肤，痛疼得大声哀叫。而高纬与高绰则在盆外观看，乐得手舞足蹈。高纬对高绰说：“这样快乐的事情，为什么不早告诉我呢？”大有相见恨晚之感。高绰对高纬的别出心裁则赞不绝口。
当时杂乐非常流行。杂乐有西凉鼙鼓、清乐、龟兹等，其中吹笛、弹琵琶、五弦及歌舞之伎，自文宜帝高洋以来，历代北齐皇帝都乐此不疲。高纬只欣赏胡戎乐，能自己创作歌曲。他另外采纳新声，创作了尤愁曲，自弹琵琶而唱，侍从和者有一百多人。有时虽在路上行走，他仍然在马上弹奏，老百姓讽地称他为“无愁天子”。
他与宠妾冯小怜更是表现销户了他的荒淫无度和奇葩。齐主高纬见冯小怜冰肌玉骨，艳明如玉，不由的神魂颠倒，一番云雨后妙不可言。从此坐必同席，出必并马，尝自做无愁曲，谱入琵琶，与冯氏对谈，嘈嘈切切，声达宫外。时人号为无愁天子。高纬深幸得此冯美人，册为淑妃，命处隆基堂。
冯淑妃虽奉命迁入，但因为曹昭仪旧居，恐非吉征，特令拆梁重建，并尽将地板反换，又费了许多金银。齐主纬毫无异言，纵教冯小怜如何处置，一体依从，所有内外国政渐渐荒废。高纬与大臣们议事的时候，也常常让冯小怜腻在怀里或把她放在膝上，使议事的大臣常常羞得满脸通红，话说得语无伦次。
