隋文帝仁寿四年正月，64岁的隋文帝在仁寿宫卧病于床。两年前孤独皇后死后，隋文帝便宠爱宣华夫人陈氏和容华夫人蔡氏。隋文帝病倒时，两位夫人都在身旁服侍。杨素等大臣见文帝的病情日益严重，也都入宫侍候，并召太子杨广住进大宝殿。太子杨广见父亲病重，心中暗喜，他急着要登皇位，写了张纸条叫宫人交给杨素，向杨素问计。这宫人误将纸条送给隋文帝，隋文帝看到字条后勃然大怒，经陈、蔡二夫人百般慰解，才平息一些。
第二天一早，宣华夫人陈氏外出更衣，不一会忽然慌慌张张地跑进来，文帝见她神色紧张，头发散乱、衣冠不整，急问她出了什么事，宣华夫人流着泪说：“太子无礼。”原来她刚才出寝宫时被太子杨广拦住调戏，好容易才挣脱出来。隋文帝一听怒气冲天，恨得把手指头都咬出血来，连声大叫：“这畜生怎么能托付给他大事，独孤(皇后)误我!”急令人叫兵部尚书柳述和黄门侍郎元岩进来，对他们说：“快叫太子进宫来。”柳、元二人以为是要杨广入内，文帝连连摇手说：“叫勇来。”杨勇早已被废为平民百姓，要进宫来必须有诏书才行。柳述和元岩赶忙出去草拟一份诏书，两人正写着，忽然一队东宫卫士闯进来，将他两人押解到大理寺监狱里关押起来。
原来是杨广见宣华夫人逃脱时，神色不对，知道大祸临头、忙去找杨素商量，杨素探听到情况后，连忙叫宇文述伪造一份诏书，将柳述和元岩抓起来，并将东宫的卫士调进宫来，由宇文述等人指挥，宇文述令卫士封锁宫门、不许王公大臣入内。杨素又派他们的心腹右庶子张衡入仁寿殿看望隋文帝。张衡进入隋文帝寝房时，便将宣华夫人和容华夫人支使出去。一会儿，只听到隋文帝惨叫几声，便断了气。
据赵毅的《大业略记》一书记载，张衡是用毒药将隋文帝毒死的。又据马总的《通历》一书所载“张衡入拉帝，血溅屏风，冤痛之声闻于外，崩。”这便是说他将隋文帝活活打死。总之，隋文帝是被太子杨广和宰相杨素合谋通过张衡之手杀死的。这一点已是诸家纪载比较一致的说法。
隋文帝死后，杨广秘不发丧，以隋文帝的名义造了一道诏令派车骑将军屈突通送给汉王杨谅(此时杨谅任并州总管之职)，令杨谅迅速回京。杨谅发现诏书不对，不肯出发。原来隋文帝曾和杨谅约定，凡是他亲自发出召他回京的诏书，便在“敕”字旁边加上一点，作为标记。杨谅见屈突通送来的诏书没有这个标记，便怀疑有假。同时，他往日对大哥杨勇被废、三哥杨秀被囚已经很不满，现又发现诏书作假，便起兵以声讨杨素为名，反对杨广，但最后兵败被擒，终生被监禁。
与此同时，杨广又以隋文帝的名义发了一道诏书给故太子杨勇，赐杨勇死，并令人立即将杨勇缢杀。于是，杨广在害弟杀兄弑父之后，登上帝位，为隋炀帝.
