李密掌握大权之后，政治野心逐日暴露。为保住个人独揽大权，他拉拢程咬金、秦叔宝等新归附的人，以二人为“内军”骠骑。“内军”是李密从军中挑选的8000个“勇士尤异者”，隶属四位骠骑将，又分为左右两队，主要任务是保护李密。
李密对内军十分满意，常说：“此八千人可当百万。”《旧唐书·程知节列传》此后程咬金改名为程知节，大业十三年（617年）十月，正在瓦岗军新老势力矛盾逐渐尖锐化之际，李密抢先下毒手，设计斩杀了翟让，独掌大权。
从太原起兵到统一全国过程中，李世民屡建奇勋，威望很高，并形成了以秦王府谋士和勇将为核心的实力雄厚的政治集团，程知节便是其中之一，对太子李建成构成严重威胁。李建成为保住太子地位及皇位继承权，与齐王李元吉结交，共同反对李世民。由于程知节是李世民的骨干，李建成便欲除之。
武德七年，李建成向唐高祖进献谗言，程知节被外放任康州刺史。程知节对李世民说：“大王手臂今并翦除，身必不久。知节以死不去，愿速自全。”《旧唐书· 程知节列传》此后两年间，史书上无程知节的记载，不过估计程知节并没离开秦王府。
武德九年六月，李建成在夜宴酒中下毒，致使李世民心中暴痛，吐血数升。时突厥郁射设率数万骑兵入塞，围攻乌城（今山西盂县西北）。李建成乘机推荐李元吉代李世民督诸军北征，李渊命其率右武卫大将军李艺等前去救援。李元吉奏请抽调秦王府勇将程知节、尉迟敬德、段志玄和秦叔宝等随军，以消弱李世民实力，然后乘机将其除掉。
李世民得知李建成欲於为李元吉饯行时杀害他，遂与文臣武将商议，决定先发制人。四日清晨，李世民率程知节等伏兵玄武门内（长安太极宫北面正门），伏杀太子李建成、齐王李元吉，夺取了皇位继承权。
初七，李渊立李世民为皇太子。十二日，李世民封赏功臣，程知节拜太子右卫率。七月，程知节迁右武卫大将军。八月初八，李渊退位。初九，李世民即皇帝位，是为唐太宗。十月，唐太宗大封功臣，程知节食实封七百户。
隋唐演义中说程咬金是笑死的，其儿子程铁牛看见父亲死了，大哭一场，竟哭死了，这当然是小说中虚构的，历史上的程咬金是病死的，终年108岁，麟德二年（665年），程知节病逝。
朝廷追赠骠骑大将军、益州大都督，陪葬昭陵。其子程处默，袭卢国公爵；程处亮，以功臣之子娶太宗女清河公主，授驸马都尉、左卫中郎将；少子程处弼，官至右金吾将军。
