才智高远，人品敦厚。初为五官掾，纯厚笃实，好学有文才。深得
拓跋珪拓跋器重，选为代国左
长史，尽心辅佐，累拜
奋武将军、
幽州刺史，封临渭县侯。皇始初年，迁给事
黄门侍郎。
天兴二年（399年），坐事贬黜，不涉政事。永兴二年（410年），以年老病重致仕。永兴三年，病逝，享年七十二，追赠太保，
谥号文康公。
张衮的祖父
张翼做过
辽东知府，父亲张卓曾任
义县太守。张衮才智高远，人品敦厚，青年时曾任五官掾（郡吏）。
北魏的开国皇帝、
鲜卑族拓跋部首领拓跋珪为代王时，十分器重张衮，选拔 他为左长史，让他参与军政大计。张衮立志辅佐首领，安定乱世，他常对人说：“
乐毅为
燕昭王出谋略，
荀攸竭心辅佐
曹操（曹操），能辅佐一代英主，是千载难逢的机遇。现在我主上天姿杰迈，逸志凌霄，必定能够囊括六合，统一四海。赶上时世风云变幻的机会却不想建立腾跃之功的人，称不上是人中豪杰。”
张衮追随
拓跋珪四处征战，屡立军功。当时，北方割据势力刘显地广兵强，但他性格凶暴，兄弟间互相猜忌。张衮及时建议拓跋珪：“刘显才高志雄，有意吞并天下，与我们势难共存。现在他们内部争权夺利，势力削弱，此机可乘，应该联合
后燕慕容宝，共同进攻
刘显，此举一定能够取胜。”拓跋珪采纳了他的建议，攻破
刘显，从而为
北魏以后统一北方奠定了基础。
北魏道武帝
登国十年（395年），慕容宝带兵来争夺地盘。张衮提醒拓跋珪说：慕容宝取得滑台（今河南滑县）后，集中优势兵力来侵犯，锐不可当，不宜跟他硬拼，应该等到时机成熟的时候再来灭掉他。
拓跋珪听从了他的建议，指挥军队在
参合陂之战（今
内蒙古自治区凉城）迂回侧击，重创慕容宝军队，使其从此一蹶不振。
两年后，北魏的势力强大起来，遂进军中山（今
定州市），讨伐
慕容宝。张衮度量形势后，主张运用政治攻势，写信给对方讲明利害。慕容宝看信后不战而退。此次战役后，
北魏占据了中山。朝廷论功行赏，拜张衮为
奋武将军、
幽州刺史，并封其爵为临渭侯。
道武帝
天兴元年（398年），拓跋珪下令让张衮、
崔逞给
东晋将军写信，指定他们俩在信中要措辞侮辱东晋皇帝。张衮和崔逞不愿意这样做，只是称东晋皇帝为“贵主”。
拓跋珪怀疑他们还在思念
汉族皇帝，一怒之下，杀死崔逞，降张衮为
尚书令史。从此，张衮心情苦闷，晚年只在自己的封地内劝课农桑，让人们休养生息。闲时手持卷书，校勘古籍，过着清心寡欲的生活。
北魏永兴二年（410年），张衮年老病重，上书皇帝表明自己的心迹，次年病逝，终年72岁。朝廷追封他为太保，
谥号文康公。
张衮协助拓跋珪巩卫
大同市，破
刘显、击
柔然、数败燕军并入主中原云中，进而平定晋、豫，稳定
河北省；他又力主“离散部落，
编户齐民”，招揽大姓名士，以
儒家志治理天下，从而逐渐改造北魏政权的性质。北魏由弱变强，最终统一北方，有赖于张衮辅助之处甚多。后期，张衮成为
拓跋珪安抚
鲜卑族的牺牲品，逐渐淡出一线历史舞台。临终前，张衮上书：“臣虽暗劣，敢忘前志，魂而有灵，结草泉壤！“堪称贤臣典范。