当时房玄龄、杜如晦都被李渊逐出了秦王府，不能再来。李世民叫长孙无忌去秘密地把他们请来，房玄龄等人回话说：“陛下诏令规定不许我们再事奉秦王，如果私自拜见，一定会杀我全家，不敢接受秦王的命令。”李世民大发脾气，对尉迟恭说：“房玄龄、杜如晦难道要背叛我吗？”取下腰间的宝剑交给尉迟恭说：“您去一趟，看见他们没有来的意思，斩下他们的首级带回来。”尉迟恭又去通知长孙无忌说：“秦王已决定限期除奸，您应该按时进府筹划。我们4个人不能邀在一起走。”于是房玄龄、杜如晦道士打扮跟着长孙无忌进了秦王府，尉迟恭也从另一条路进来了。
六月初三，李世民密奏建成、元吉淫乱后宫妃嫔，并欲杀他，似为王世充、窦建德报仇，李渊愕然，声称明日早朝鞫问。
四日清晨，李世民率尉迟恭、侯君集、张公谨、刘师立、公孙武达、独孤彦云、杜君绰、郑仁泰、李孟尝等九将伏兵玄武门（长安太极宫北面正门）内。李建成、李元吉行至临湖殿感觉有变，慌忙掉马准备返回东宫和齐府。
李世民从后面招呼他们，李元吉张弓即射，仓促间控弦不开，皆未中的，李世民则趁机射杀李建成。此时，尉迟恭率赶七十名骑兵至，左右箭射李元吉，李元吉中流矢坠马，逃入树林中。李世民纵马追赶，但衣服被树枝挂住，坠马落地。
李元吉见状，立刻赶到，夺弓将扼杀李世民。在此危难之时，又是尉迟恭及时赶到，跃马喝叱李元吉，李元吉见到尉迟恭，放开李世民，欲趋武德殿，尉迟恭边追边射，将李元吉射杀。这时，东宫翊卫车骑将军冯立、副护军薛万彻和屈唾至直府左车骑谢叔方率东宫、齐府精兵二千人赶来，猛攻玄武门，形势危急。关键时刻，尉迟恭持建成、元吉首级赶到示众，东宫、齐府士卒遂溃散。
这时，李渊正在海池上划船游览。李世民命令尉迟恭去保卫高祖。他身穿铠甲手执武器，直奔海池。李渊极度震惊，问道：“今天发动叛乱的是谁？你到这里来干什么？”尉迟恭回答说：“秦王由于太子、齐王发动叛乱，派兵杀了他们，他担心陛下受惊，派我来值班警卫。”高祖这才放心。
南衙卫兵、北门羽林军以及东宫、齐王府、秦王府的将士都还在混战，尉迟敬德奏请高祖亲笔写了道诏令，命令各部人马一并听从秦王处置，于是宫廷内外都安定了。李渊慰劳尉尉迟恭说：“你为国家立下了稳定政权的大功勋。”赏赐给他很多珍贵物品。
李世民立为太子后，任命他为太子左卫率。当时的舆论认为李建成等人的一百多名部属，都应判处胁从罪而没收他们的家产充公，只有尉迟敬德坚持反对，说：“两名罪魁祸首，已经惩罚完毕，如果再株连他们的部属，这不是稳定局势的政策。”因此都免于处分。后来论功行赏，尉迟敬德和长孙无忌定为头等，每人赏赐了一万匹绢，齐王府的钱财器物，连同整个府第，都赏给了尉迟恭。
