公元前91年，卫子夫唯一的儿子因巫蛊之祸被牵连。

《汉书·武帝纪》记载：“庚寅，太子亡，皇后自杀”。

汉武帝怜太子无辜，就派人在湖县修建了一座宫殿，叫作“思子宫”，又造了一座高台，叫作“归来望思之台”，借以寄托他对太子刘据和那两个孙子的思念，天下闻而悲之。

公元前87年刘彻崩于五柞宫，享年70岁，谥号孝武皇帝，庙号世宗，葬于茂陵。托孤于卫子夫外甥霍光。