孙灵晖，出生于长乐武强，是魏大儒秘书监孙惠蔚的族曾王父。他自幼聪明过人，有才华和器度。7岁时，他开始好学，每日诵读数千言，主要研究惠蔚的手录章疏，不求师友。他对《三礼》和《春秋三传》的理解深入，能解答鲍季详和熊安生的疑惑。他在冀州区刺史秀才考试中表现出色，射策高第，被任命为员外将军。后来，他因儒学造诣被任命为太学博士，转任北徐州治中，最后担任潼郡太守。

天统中，敕令朝臣推举可为南阳王绰师者，吏部尚书尉瑾表荐之，征为国子博士，授南阳王经。王虽不好文学，亦甚相敬重，启除其府议参军。绰除定州市刺史，仍随之镇。绰所为猖蹶，灵晖唯默默忧悴，不能谏止。绰欲以管记马子结为谘议参军，乃表请转灵晖为王师，以子结为谘议。朝廷以王师三品，启奏不合。后主于启下手答，云“但用之”，仍手报南阳市书，并依所奏。儒者甚以为荣。绰除大将军，灵晖以王师领大将军司马。绰诛，停废。从绰死后，每至七日及百日终，灵晖恒为绰请僧设斋，转经行道。齐亡后数年卒。