后徙王棣，领太原牧、太原以北诸军节度大使。
天宝初，为武威郡
都督，经略节度河西、陇右。会妃韦以过置别室，而二孺人争宠不平，求巫者密置符琰履中以求媚。仇人告琰厌魅上，帝伺其朝，使人取履视之，信。帝怒责琰，琰顿首谢曰：“臣罪宜死，然臣与妇不相见二年，有二孺人争长，臣恐此三人为之。”及推，果验。然帝犹疑琰，怒未置，太子以下皆为请，乃囚于鹰狗坊，以忧，妃，之女，无子，还本宗。
琰凡五十五子，得王者四人，僎王汝南郡，侨宜都，俊济南，侒顺化；僚太仆卿，侠国子祭酒，仁殿中监，秘书监。
宝应元年，诏复琰王爵。