从太原起兵到统一全国过程中，李世民屡建奇勋，威望很高，并形成了以秦王府谋士和勇将为核心的实力雄厚的政治集团，程知节便是其中之一，对太子李建成构成严重威胁。李建成为保住太子地位及皇位继承权，与齐王李元吉结交，共同反对李世民。由于程知节是李世民的骨干，李建成便欲除之。
武德七年，李建成向唐高祖进献谗言，程知节被外放任康州刺史。程知节对李世民说：“大王手臂今并翦除，身必不久。知节以死不去，愿速自全。”（《旧唐书· 程知节列传》）此后两年间，史书上无程知节的记载，不过估计程知节并没离开秦王府。
武德九年六月，李建成在夜宴酒中下毒，致使李世民心中暴痛，吐血数升。时突厥郁射设率数万骑兵入塞，围攻乌城（今山西盂县西北）。李建成乘机推荐李元吉代李世民督诸军北征，李渊命其率右武卫大将军李艺等前去救援。李元吉奏请抽调秦王府勇将程知节、尉迟敬德、段志玄和秦叔宝等随军，以消弱李世民实力，然后乘机将其除掉。李世民得知李建成欲於为李元吉饯行时杀害他，遂与文臣武将商议，决定先发制人。
四日清晨，李世民率程知节等伏兵玄武门内（长安太极宫北面正门），伏杀太子李建成、齐王李元吉，夺取了皇位继承权。初七，李渊立李世民为皇太子。十二日，李世民封赏功臣，程知节拜太子右卫率。七月，程知节迁右武卫大将军。八月初八，李渊退位。初九，李世民即皇帝位，是为唐太宗。十月，唐太宗大封功臣，程知节食实封七百户。
那么他是怎么死的呢？《隋唐演义》中关于程咬金怎么死的是这样描述的，他不是病死的也不是被杀害而亡的，而是笑死的，情绪过激而导致心律不齐，一代大将如此死去也甚令人不解。关于程咬金笑死的版本又有两个，一个是程咬金在作战时，追击敌人的过程中，将自己的板斧扔出去不料斧子回旋至其手中，程咬金深觉神奇，乃以为是宝斧，遂在马上狂笑，不幸跌落而死。
另一个便是程咬金在薛府坟前遂众人见证张、武两党的落幕，原本悲恸不已，现如今解了心头之恨甚是喜悦，一时之间没缓过气便翻白眼而亡。而历史上程咬金怎么死的呢，毕竟是史实不如小说那样的精彩和生动，程咬金是病死的，在程咬金带兵出击突厥时，英雄年老的程咬金并没有把握准确的方针，晚节不保，听从王文度的建议，杀降谋财。回京后事迹败露，被降官，后虽重新为刺史，但不久便上奏请辞，在公元665年时病逝于家中。
