左右说：“大将军已今非昔比了，他现在是大将军，姐姐是皇后，三个儿子也都封了候，富贵震天下，哪还有比他更配得上您的呢。”汉武帝知道后，失笑道：“当初我娶了他的姐姐，现在他又娶我的姐姐，这倒是很有意思。”于是当即允婚。时迁事移，当年的仆人就这样做了主人的丈夫。
这样一来，卫青与汉武帝亲上加亲，更受宠信。但卫青为人谦让仁和，敬重贤才，从不以势压人。后来，汉武帝对霍去病恩宠日盛，霍去病的声望超过了他的舅舅卫青，过去奔走于大将军门下的许多故旧，都转到了霍去病门下。卫青门前顿显冷落，可他不以为然，认为这也是人之常情，心甘情愿地过着恬淡平静的生活。
公元前106年，大司马大将军卫青去世，汉武帝命人在自已的茂陵东边特地为卫青修建了一座象庐山（匈奴境内的一座山）的坟墓，以象征卫青一生的赫赫战功。卫青对卫氏家族，乃至太子（卫青的外甥）的命运都有着重大影响。卫青走过了一条上升、圆满的人生轨迹，然而，他的后代却没有能继承他的功业，也没有能继续他的辉煌人生经历。
据《史记·卫将军骠骑列传》记述，卫青有三个儿子：卫伉，卫不疑和卫登。卫青在漠南打败右贤王之后，汉武帝为表示对卫青的特殊嘉奖，册封了这三个尚为孩童或在襁褓之中的幼子。卫伉被封为宜春侯，卫不疑被封为阴安侯，卫登被封为发干侯。
最早，卫伉犯法而丢掉了宜春侯爵位，因卫青娶了武帝的姐姐平阳公主，卫青去世，卫伉才能继承卫青的封国，继续做了长平侯。6年之后，卫伉犯法而失去了这个爵位。卫不疑和卫登都因交供宗庙祭祀用的金子不合格，丢了爵位。卫青的后代虽然生来富贵，但由于没有建立功业，从而没有能力保持高贵的社会地位。
