征和二年卫太子据兵败,株连门客姬妾数众,太孙病已囚于郡邸狱。武帝悔过念子,收于夜庭供养,至弱冠民间女许氏与之结为伉俪。帝少子弗陵继位,始元四年迎中宫上官氏幼女。元凤元年上官氏同燕王刘旦谋反,殃及辅政大臣桑弘羊,桑氏满门被灭,桑氏孤女落入宫廷。史书有记上官女长于深宫,以外戚权重未尝受帝垂青。而后壮年尊太后太皇太后居长乐宫,亦不再有坊间传闻。