李玙温和文雅有见识和度量，永平二年（509年）以
太尉行
参军为起家官，屡次升迁至尚书仓部郎中。
汝南县王
元悦担任司州牧时，因为元悦禀性粗率懒散，才情与见识不伦不类，朝廷认为李玙兼具才具与名望，熟悉政务，就提拔李玙为司州长史，同时处理司州的事务，李玙很了解辅佐上级的方法，因此又被任命为司州别驾，后转任光禄少卿。永安初年，李玙以光禄少卿兼任
度支尚书，承袭了父亲的安城县伯爵位，又出任司徒右
长史，仍然兼任度支尚书。
东魏迁都邺城后，朝廷将李玙留在后方，监管负责国家储存的文书和财物，到了运送宫殿宗庙的木材时，李玙以明智干练而被称道，因而加号征南将军、金紫光禄大夫，不久又兼任给事
黄门侍郎，监督主管国家藏书。李玙后来外任骠骑大将军、东徐州
刺史，处理政事清简，无为而治，百姓和官吏依恋他。任期结束后，李玙返还，以年老有病，不再追求在仕途中进取。
北齐接受禅让时，召回李玙兼任
前将军，引导百官在圜丘行礼，又让李玙代理护军，陪同齐神武帝
高欢的神主进入太庙。李玙不愿在两个朝代做官，虽然以年老且德高望重被北齐征召，事情办完就谢绝朝见皇帝。
高洋也曾命令李玙参与华林宴，访问从前的典章制度，十分尊重他。天保四年（553年），李玙去世，虚岁七十二。李玙的子孙繁盛众多，往来出行的人称他的住宅为李东徐村。