当时，孙权闻知刘备西征的消息，便派遣舟船来接走孙尚香，并让她将年仅四岁的刘阿斗带回东吴，其目的自然是将刘备唯一的宝贝儿子当人质，为东吴讨回南郡之地。
后来发生的便是张飞、赵云"勒兵截江，乃得禅还"。可见当时是强行从孙尚香处夺回阿斗的。从此，孙刘联姻不欢而散。重返吴郡的孙尚香才21岁，无论是正史还是野史均无孙尚香再嫁的只字片语记载，也就是说正富青春的她自此开始"寡居"生活。
在此后的岁月中，孙尚香一方面承受的是寂寞孤苦，另一方面则背负着一种强大的精神压力。在东吴人眼里，她始终是敌对方元首刘备的夫人；在蜀汉方心中，她是里通东吴，有劫持人质之嫌。因此，刘备在蜀地称帝后，并未给她什么封号，而是册立偏将军吴懿的妹妹为皇后。
刘阿斗继位后，也没追赠她为皇太后，蜀汉的史官仅称她为"夫人"，并未给她单独立传。孙尚香虽贵为破虏将军孙坚之女、吴大帝孙权之妹、蜀先主刘备之妻，但其人生遭遇却如此凄惨，沦为政治斗争的一个牺牲品。孙尚香何时郁郁而终，史书上并无明确记载。
民间盛传其在刘备兵败身亡后，投江而死。九江、芜湖、南京、镇江等地均有孙夫人投江遗迹的传说，还为其建有不少祠庙，或称枭姬娘娘，或称灵泽夫人。这也许正是民间百姓对她不幸遭遇的一种惋惜与同情！
刘备有四个老婆，她们分别是甘夫人、糜夫人、孙夫人和吴夫人。甘夫人于赤壁之战后去世，糜夫人于长坂坡投井身亡。后刘备娶孙权之妹为妻，后回到东吴。刘备为关羽报仇而与东吴开战后，陆逊火烧连营七百里，击败刘备，吴兵风传刘备已死，孙夫人投江而亡。刘备进位汉中王后，娶吴懿之妹为王妃，刘备死后，刘禅称吴夫人为太后。
刘备人生的一大特点就是丢东西，不仅丢的东西种类很多，而且一样东西可以重复丢很多次。作为枭雄，他丢过徐州、荆州等好几块地盘；作为兄长，他丢过关羽、张飞两个最好的兄弟；作为丈夫，他丢过三个妻子。
