对此，他根本听不进去。咸通四年（863）二月，懿宗竟将高祖献陵以下到宣宗贞陵十六座帝陵统统拜了一遍。司马光说：“拜十六陵，非一日可了。”在任官方面，他即位之初罢免了令狐绹，改任了白敏中。白敏中是前朝老臣，但在入朝时不慎摔伤，一直卧病在床无法办公。
他三次上表请求辞职，懿宗都不批准。白敏中有病，正中下怀，懿宗可以借故不理朝政，和其他的宰相朝会讨论政事也是敷衍了事，他心思根本不在这里。所以有位担任右补阙的谏官王谱说：“白敏中自正月卧病，已有四个月了。陛下虽然也和其他的宰相坐语，但未尝有到三刻（古代一昼夜为一百刻）的。
这样，陛下那有闲暇和宰相讨论天下大事呢？”这番话使懿宗很不舒服，竟把王谱贬出朝廷去任了个县令。负责行使封驳权力的给事中认为王谱是谏官，论事不应当贬斥，就按照唐朝的制度退回了这一命令，没有下发。懿宗就将此事交给宰相复议，那些宰相不顾国家体制，认为王谱不仅是对皇上劝谏，也涉及到宰相白敏中，竟然同意把王谱贬职。
懿宗在位期间，一共任用了21位宰相：令狐绹、白敏中、萧邺、夏侯孜、蒋伸、杜审权、杜悰、毕、杨收、曹确、高璩、萧寘、徐商、路岩、于琮、韦保衡、王铎、刘邺、赵隐、萧仿、崔彦昭。由于懿宗自己对政事兴致不高，宰相的事务性权力还是很大，本可以发挥很大的作用，问题是大多数宰相不是碌碌无为者，就是爱财如命、为人不堪之辈。
像咸通初任宰相的杜悰，是德宗朝宰相杜佑之子、宪宗的驸马，本人并不具备实际才干，尸位素餐，人送外号“秃角犀”。咸通五年任相的路岩拉帮结派，招纳贿赂，奢肆不法，还把政事委托给亲信属下小吏边咸。一个叫陈蟠叟的官员向懿宗报告说，如抄了边咸家，可佐助国家两年的军费，被懿宗痛斥了一番，从此更是无人敢言。
路岩和稍后任相的驸马都尉韦保衡沆瀣一气，二人“势动天下”，当时人称他们为“牛头阿旁”，意思是像厉鬼一样“阴恶可畏”。懿宗朝的宰相贪污腐化相当严重，长安城中的居民把其中的曹确、杨收、徐商、路岩等几个宰相的姓名编了一首歌谣说：确确无论事，钱财总被收。
