余文乐的现任女朋友是王棠云，在此之前，余文乐也曾有过几段感情。
余文乐和黄伊汶
余文乐和黄伊汶于2002年在聚会上相识，便一直保持联系，虽然不承认拍拖，却经常被拍到外出约会，2003年，两人终不堪媒体追问承认了恋爱关系。不知道大家有没有觉得，他们俩还挺有夫妻相的，气场动作都很一致，余文乐几任女友都是这个类型。
有媒体报道，有一次，余文与跟好友沈嘉伟赴日本，相约猿人老板NIGO度假，由于当时黄伊汶不在身边，他于是放胆“猎食”，与NIGO旗下的嫩模有暧昧，谁知被黄伊汶的朋友在街头逮个正着，加速了感情破裂。
拍拖5年后，余文乐与黄伊汶和平分手，身边的朋友透露：两人经常还是会电话联系，但是一直少有见面，几年的感情不是说断就断。正是这一点，让余文乐觉得有复合的希望。余文乐不断要求复合，但黄伊汶对他已死心。
去年10月，余文乐与黄伊汶在某晚宴上再度相聚，两人再见亦是朋友，除大方合照之外，黄伊汶亲切地手挽余文乐手臂，当时黄伊汶已经怀有4个月身孕，相信余文乐也会送上真诚祝福。
余文乐和卢巧音
卢巧音说：“我们因为合作广播剧而发生感情，当时大家都好爱对方，好认真，不过最后因为一个误会而分手，现在回想都觉得好可惜。”回顾两段姊弟恋，卢巧音觉得是一个难忘的经历：“虽然是姐弟恋，但我不觉得他们像孩子，相反他们的思维方式好成熟，都很照顾我。现在看到他们发展得这么好，替他们好开心。”
有记者问余文乐：“看过香港传媒对你的采访，感觉你和卢巧音原本很相爱的，为什么到最后还是要分手？”
余问了回答：怎么说呢，有些东西如果继续下去，会影响到大家，比如说影响到我，应该有一个解决。（你说“影响到你”，是不是指有人说你借卢巧音上位？）这个世界，男女分手，永远都会觉得男的不对，这是定律来的。我觉得我问心无愧。我老板也知道发生了什么事，我自问对得住自己，我没有做错，别人说也好，骂也好，没办法，都要过。
余文乐和吴雨霏
余文乐与吴雨霏（Kary）情人节约会恋情曝光，两人又于上周一双双飞抵英国希斯罗机场展开甜蜜假期，24日共度元宵佳节。两人对绯闻并没有响应，直至25日余文乐终于忍不住“出手”保护Kary。他对在网上攻击Kary的留言全部删掉，粉丝投诉被迫“爱屋及乌”，要支持“乐雨恋”；违者的留言一律遭删除。
余文乐跟Kary拍拖三个月，相恋消息突然传出，令双方的粉丝也来不及反应。两人选择在这期间外游，连日来，有粉丝在不同社交网站表态，不乏支持两人相恋的，但也有反对之声。余文乐一直不理会，不时在网上晒美食照片与行踪，但未有露面。
余文乐和王璐瑶
据香港杂志爆料，疑似余文乐与靓模王璐瑶（LuLu）露骨手机短信曝光。称两人自08年合拍电影后便开始地下情。同时，该周刊还曝光余文乐深夜驾车街头夜会另一靓模颜后君Ceci的照片，令一直单身的余文乐，个人感情问题扑朔迷离。
据知LuLu与余文乐08年曾合作拍摄电影《第一诫》，两人曾交换电话，之后便开始短信传情。而余文乐发给LuLu的短信，无所不谈，俨如情侣。
