如果继续向百姓征派，又会使百姓的私人蓄藏告罄，如此百姓就会舍本逐末。再说天下权柄，怎么能轻易委托他人呢？如果李林甫威风震主，一旦有变，谁还敢阻止呢？”玄宗听后非常不高兴，高力士见玄宗生气，连忙顿首称罪：“我一时糊涂，说错了话，罪该万死。”
玄宗见状，才没有发作，高力士才避免了一场大祸。这也是高力士在唐玄宗身边最惊险的一次事，在经历这件事后，高力士更加谨慎了，沉默寡言，很多事情只是看在眼里，藏在心里，他知道，此时的玄宗已经不是开元前期那个玄宗，说出来反而随时会召来杀身之祸。
给他带上污点的也许正式力士脱靴这个典故。李白戏弄高力士的故事也确有其事。根据《新唐书·李白列传》记载：李白在侍奉玄宗的时候喝多了，趁着醉意，让高力士为自己脱靴子，因此得罪了高力士。高力士记恨在心，便在杨贵妃面前挑拨，说李白的诗“一枝红艳露凝香，云雨巫山枉断肠，借问汉宫谁得似，可怜飞燕倚新妆”中所用的典故，是在讽刺杨贵妃，因此李白一直难以得到重用。
不过，就实际情形分析，李白并没做好参与政事的准备。最起码，一个政治家如何能够整日喝酒？而且后来李白也是自己请求归隐。然李白虽是浪漫之人，但也有政治抱负，绝非只图做个御用填词的作家。而对于玄宗来说，李白最好的位子就是为他填词。
李白在感到绝望的情况下，以此来获得解脱。高力士也许很嫉恨李白，但李白的政治前途却未必是因为前者而断送，李白自己应担负最大的责任。由此看来，他不是奸臣，也非逆党。其次，他的为人也并不如有关李白的典故中说的那样猥琐可厌。第三，其人忠心事主，并非肚里没有墨水的谄媚逢迎的奴才。
史料记载的对高力士的评价有一条是：恭而不劳、亲而不黩、谏而不忤、久而不厌、美畅于中、声闻于外。这是中肯的。科学地评估了他的功与过，肯定其匡世济时的历史贡献，自然也就肯定了他的一些仍可以为今人借鉴的精神力量。高力士终生恪守大义，终于职守；智勇而谨慎，大度而小心。
辅佐过三朝皇帝，以刑余之身，数十年亓亓戮力，参与处置国家安危和四海祸福大事。背着奸臣、走狗的骂名苦苦卖命干了一辈子“吃力不讨好的事”，晚年却光景凄凉。听其忠主绝食的气节，观其墓室的简陋与仓促，其才能、境遇实实让人动容。
