吕蒙自知如果自己的部队遭到兼并的话，自己将来更难取得成就，于是想办法赊贷筹集物资，让士兵穿上深红色制服与绑腿布，并加紧操练士兵。孙权检阅时，吕蒙兵马“陈列赫然，兵人练习”，孙权见后，认为他治军有方，不但没有削减其部队，反而为吕蒙增加兵员。
204年，孙权讨伐江夏太守黄祖，击破黄祖水军，但因中途获悉丹阳、豫章、庐陵三郡的山越少数民族作乱，因此收兵班师，吕蒙亦随军中。到达豫章（今江西南昌 ），孙权命征虏将军吕范平定鄱阳（今江西鄱阳东北），荡寇将军程普进击乐安（今江西德兴东北），建昌都尉太史慈抚治海昏（今江西永修东）。
同时，令吕蒙与别部司马黄盖、韩当、周泰等率兵镇守险要，担任山越最为活跃地区的县令或县长。吕蒙与诸将遵照孙权的部署，各自以武力平定了于各地起事的山越族人。吕蒙因功被任命为平北都尉，兼任广德长。
208年，孙权采纳将军甘宁建议，再次发兵进攻夏口（今湖北武汉境），吕蒙随军出征。黄祖下令用艨艟战舰封锁沔口（汉水入长江口），用大绳系着巨石为锥以固定舰只，舰上更有千余人用弓弩射向孙权军，封锁孙军的前进路线，令孙权军进攻受阻。
孙权命偏将军董袭、司马凌统各率百人敢死队，身穿重铠，乘大船突进到艨艟舰旁，董袭挥刀砍断大绳，黄祖军战舰顺水飘流，孙权军便溯流进兵。黄祖见孙权兵来，急派水军都督陈就率兵反击，吕蒙统率前锋部队，身先战阵，亲自斩杀陈就。孙军乘胜水陆并进，包围夏口城。孙权督军猛攻，攻克其城。
黄祖只身逃窜，被孙权军中的骑兵冯则所斩杀。此战，孙权大获全胜，一举歼灭宿敌黄祖，占领江夏地区。战后论功，孙权认为战事能取得胜利，关键是因为吕蒙能斩杀敌军都督陈就，因此任命吕蒙为横野中郎将，并赐钱千万。
同年，吕蒙还跟随周瑜、程普等人在赤壁大破曹操，曹操引军北归，留曹仁等驻守江陵（今湖北江陵）。孙权命周瑜、程普统兵数万，与曹仁隔江相持。时益州将领袭肃率军投诚，周瑜上表，请孙权把袭肃所部拨给吕蒙管辖。吕蒙却有不同的见解。他从全域考虑，认为周瑜的意见欠妥。
