征和二年卫太子据兵败，株连门客姬妾数众，太孙病已囚于郡邸狱。武帝悔过念子，收于夜庭供养，至弱冠民间女许氏与之结为伉俪。帝少子弗陵继位，始元四年迎中宫上官氏幼女。元凤元年上官氏同燕王刘旦谋反，殃及辅政大臣桑弘羊，桑氏满门被灭，桑氏孤女落入宫廷。史书有记上官女长于深宫，以外戚权重未尝受帝垂青。而后壮年尊太后太皇太后居长乐宫，亦不再有坊间传闻。