据台湾某综艺爆料，安以轩的家庭背景其实是非常厉害的，传闻说安以轩的爸爸势力非常大，家里是混黑道的，基本黑白两道没有人敢得罪他。
并且很多报道都称安以轩的爸爸很宠爱安以轩，对于安以轩的绯闻都是非常关注的，当年和安以轩穿过绯闻的郭品超还爆料说没人敢欺负安以轩，怕会被打断双腿或者直接不在了。
除去在台湾的关系，在内地签约华谊兄弟，戏约、代言不断，可是就是不红，究其原因，大概是跟明明长相不怎么出众，偏偏还都演绝世美女有关。
而安以轩本人（本姓吴）来自包租婆世家，奶奶是东区大地主，也是传说中的“东区吴妈妈”，是不少知名餐厅的老房东，姑姑这代更是忠孝东路四段的茶街一姐。
