李君羡跟着当时还是秦王的李世民冲锋陷阵，逐鹿中原，立下了许多汗马功劳。唐朝建立后封侯做官，一时间好不自在。后来，因小名和“女主武王有天下”的谣言产生联系而遭到贬官，随即被罗织各种罪名，被唐太宗以“欺君压民”的罪名下令处决。这算是替武则天挡了一刀。
李君羡，开始为王世充的骠骑将军，后因厌恶其为人，率部投奔李渊，随秦王李世民逐鹿中原。在战斗中，他单骑出列，冲锋陷阵，作战英勇。在介休攻破宋金刚，被封为骠骑将军，在洛阳征讨王世充，被任命为马军副总管，在休洺州打败窦建德、刘黑闼后，被授予左府中郎将。
贞观初年，突厥兵突然进犯渭水桥，君羡与尉迟敬德奉命迎敌，解除了长安之危。唐太宗李世民叹道：“君羡如此勇猛，强虏何足忧虑。”遂授予他左武卫将军之职，掌管玄武门宿卫，并被封为武连县公。李君羡在战争之余，手不释卷，经常得到太宗的赏赐。
公元621年的时候，李君羡率部讨伐自己的旧主王世充，俘获了王世充的儿子王玄应的军队，之后又击退了窦建德等人，李世民登基之后就被封李君羡为左卫府中郎将。贞观年间，突厥突犯，李君羡领命迎敌，击退了突厥。因此得到李世民的进一步重用和赏赐。
应该说李世民是那个时代最卓越的大老板，历代皇帝都有杀开国功臣的习惯，但他却对功臣们体恤有佳，从不随意怀疑。即使像后来的尉迟恭那样在他面前当众殴打皇亲，他也只是训斥了几句了事，度量之大，非同一般。遇到这样的好老板，李君羡干活比从前更加卖力，在大破宋金刚、攻打王世充的战斗中屡立战功。
