据传毛衣女因向人间广施甘霖而遭天谴，托生成了一只普通白鹭。在她下凡不远的一个岛上，每到暮春时节，成群结对的白鹭便会飞抵这里，人们说，这是“毛衣女”的后代，怀着对祖辈的悠悠相思之情，回家探亲寻祖来了，所以人们就把这个岛称为白鹭岛。岛上，建有一座以研究古塔闻名，融古典与现代风格于一体的白鹭山庄，由舞仙楼、鹭仙楼、天仙楼及亭阁、台阶和八字形长廊等部分组成，建筑面积3000多平米，以纪念毛衣仙女下凡新余。