让职方进上地图，隋文帝指着安德郡，对群臣们说：“这个名号，才与杨雄的名德相符。”于是改封他为安德王。大业元年（605年），担任太子太傅。大业二年（606年），元德太子杨昭去世，杨雄检校郑州刺史事。过了一年多，授任怀州刺史，不久又授任京兆尹。大业五年（609年），隋炀帝亲征吐谷浑，下诏杨雄总管浇河道各路军马。
到回京时，改封他为观王。杨雄上表辞让王位，说：“我早年恰逢隋朝兴起，有幸被列入官列之末。有此天命，有此时运，凭借的是风云际会；我无德无才，忝列公卿之首。承蒙先帝的特别赏赐和陛下的特别恩典，我长久地混在台省中作官，常常担心我得到的赏赐太多了，哪里够再叨鸿恩，重窃大名？”
“我实在应该面墙自省，冒昧地想按以前的通例办事；我实在冒受了陛下的宠爱，因此十分担心自己履行不了职责。过去刘贾封王，哪里具备三阶的重任？曹洪任上将，怎能超过五等的爵位？我的官服超过了帝子，我任京兆尹仅仅次于皇室子孙，赐我疆土，让我作藩王，我官服上以金为纽扣，开国治事，这让我这个做臣下的何以自处？”
“在他人看来肯定会说我得到了非分的官爵。因此我表示我的愚诚，求恩让我固守。请陛下特别关照，特别考虑我的一片诚心。我屡屡麻烦圣上，惶恐得直流冷汗。”隋炀帝下诏书不许他退辞王位。大业八年（612年），隋炀帝东征高句丽，杨雄检校左翊卫大将军，出辽东道，部队在泸河镇驻扎，杨雄发病去世，时年七十一岁。
隋炀帝因他去世而不上朝，让鸿胪监护他的丧事。有关部门考查他的行事，请求给他“懿”的谥号。隋炀帝说：“观王德性高于凡俗，品德超过生民。”于是赐给他“德”的谥号。追赠他司徒之职，和襄国、武安、渤海、清河、上党、河间、济北、高密、济阴、长平等十郡的太守。
