韦义曾多次上书
刘保，提出应依从古典，考查功劳决定升降，征集名儒，全面制定制度。然而他的建议并未得到回应，长期压抑不得升迁，因此在兄长韦顺去世后离任。后来公府征辟，他并未就任。
兄韦顺，字淑文，平舆令。有高名。次兄韦豹，字季明。数辟公府，辄以事去。
司徒刘恺复辟之，谓曰：“卿以轻好去就，爵位不。今岁垂尽，当选
御史，意在相荐，子其宿留乎？”豹曰：“犬马齿衰，旅力已劣，仰慕崇恩，故未能自割。且眩瞀滞疾，不堪久待，选荐之私，非所敢当。”遂而起。恺追之，径去不顾。安帝西巡，征拜议郎。
韦义去世后，
广都为他立生庙。他的去世引起了三县吏民的哀悼，他们为他举哀，如丧考妣。
《后汉书-卷二十六·伏侯宋蔡冯赵牟韦列传》义少与二兄齐名，初仕州郡。太傅
桓焉辟举理剧，为广都长，甘陵、陈二县令，政甚有绩，官曹无事，牢狱空虚。数上书顺帝，陈宜依古典，考功黜陟，征集名儒，
大定其制。又讥切左右，贬刺
太穆皇后。言既无感，而久抑不迁，以兄顺丧去官。比辟公府，不就。广都为生立庙。及卒，三县吏民为义举哀，若丧考妣。