能在《无间道》里跟黄秋生这样的影帝合作，对当时的他来说是莫大的运气，紧接着他被香港媒体看好，被认为是谢霆锋最有力的竞争者，“梁朝伟的接班人”。在香港新生代电影小生凋敝断层的年代，资质尚好的新人余文乐寄托了太多香港影人的希望，所以出道至今，他总要被拿来和前辈比较。
这也让他成了一众香港导演的爱将，韦家辉、刘伟强、尔冬升、彭浩翔，他们都叫他乐仔，当他是小弟。当年麦兆辉对他说：你快长大吧，到你29岁那年我有个很好的角色给你。尔冬升也说：你还需要很长时间来形成一个模样。
《无间道》往后那几年余文乐一直不温不火，很多人说他很嚣张但没有好作品出来，这让他很有挫败感。“其实并不是没有工作，我一直在拍戏啊，但为什么没有再碰到好戏?后来慢慢想明白了，有多少人十年内能碰到一部好戏?”
五六年内拍了近40 部电影，一直缺少一部代表作，拍的片子多数小众、冷门，甚至曾被称为票房毒药。起初余文乐并不抗拒以年轻英俊的外形作为武器守在娱乐圈，那也正是冲动好胜的阶段，刚出道一切来得那么顺利，什么都不用担心，慢慢走着才发现比自己厉害的人那么多。
