湘灵住在徐州符离(今安徽省宿县境内)，长得活泼可爱，懂点音律，和白居易成了青梅竹马的玩伴，湘灵15岁时，两人便开始了初恋。白居易有一首诗名为《邻女》，追叙了十五岁的湘灵，并赞美湘灵的美丽和她悦耳的嗓音。
贞元十四年（798），白居易27岁的时候，离开符离去江南，一路上他写了三首怀念湘灵的诗。分别是《寄湘灵》《寒闺夜》和《
长相思令》，湘灵因为白居易母亲的阻扰，最终未和白居易走在一起。后来白居易蒙冤被贬
江州途中，遇见了湘灵父女，湘灵与白居易抱头痛哭了一场，白居易为其写下了题为《逢旧》的诗。在白居易走后，村中便不断传出关于二人的流言与非议。湘灵不堪羞辱，只好和父亲一起搬离了小镇。