他的曾祖父李弼，是八大柱国之一，北周时当过太师和魏国公，他的祖父李祖曜，是北周邢国公，他的父亲李宽是隋朝的上柱国和蒲山公，代代显宦，更难得的是李密本人“养客礼贤，无所爱吝”，颇有当年的孟尝君之风，程知节率众投奔李密，可以说是深思熟虑的后果。
程知节骁勇善战，李密对他自然亲睐有加。李密组织了八千人的内军，个个都是勇猛的壮士，内军设置四位骠骑将，程知节就是其中之一。内军是李密的亲卫队，负责保护李密的安全，李密对这支部队的战斗力非常自信，曾夸下海口，“我这八千人抵得上百万雄师”。
大业十三年（公元617年），瓦岗军的内部斗争趋于白热化，火拼终于不可避免地发生了，李密依靠自己手中的力量，将创立瓦岗军的翟让毙于刀下，坐稳了瓦岗军大当家的位置，从此，李密乾纲独断，指挥瓦岗军与各路反王浴血奋战。武德二年（公元619年），王世充拜程知节为将军，拜秦叔宝为龙骧大将军，让他们带兵与唐军作战。
王世充军和唐军在九曲（今河南宜阳西北）摆开了阵势。程知节、秦叔宝一行几十人假装向唐军阵营发动攻击，骑马跑出了一百多步后，一齐下马向王世充行礼，“我们得到了你的特殊礼遇，也想报答你，但你疑心太重，不能容人，我们不想与你为伍，就此告别，后会有期”，程知节、秦叔宝素来勇猛，王世充军中已经无人可及，只能眼睁睁看着一行几十人投奔了唐营。
归唐之后，唐高祖李渊把他们派到了秦王李世民麾下，程知节与年轻的秦王一见如故。李世民久闻程知节、秦叔宝的大名，对他们十分看重，程知节担任了秦王府左三统军，秦叔宝则成为马军总管。李世民亲自挑选了上千名精锐骑兵，由程知节、秦叔宝等人担任统领，穿着清一色的黑衣黑甲，组成“玄甲队”，每战必为唐军先锋，李世民本人也黑衣黑甲，与玄甲队一起冲锋陷阵，玄甲队所向披靡，很快就威名远播，成为大唐扫平各个割据势力最锋利的宝剑。
