常义林于1970年8月毕业于西安交通大学工程物理系，随后在陕西安康电影公司担任技术管理工作。1978年11月，他以优异成绩考入西安电子科技大学通信专业研究生，并于1982年1月获得硕士学位。
毕业后，常义林留校任教，历任讲师、副教授、教授及博士生导师。1985年10月至1987年1月，他在英国
伯明翰大学担任访问学者。1997年5月至1997年11月，常义林在美国
西雅图的
美国华盛顿大学担任高级访问学者。
常义林的硕士论文《非正弦正交函数的产生、发射及接收》是我国时域电磁学研究的早期工作之一。他成功研制的大功率毫微秒级窄脉冲发生器达到了世界同行研究的水平，并在国内处于领先地位。常义林在通信中的自适应信号处理等领域开展了多项研究工作，其中《矢量量化技术》是我国最早一批国家自然科学基金项目之一。
他还主持了国家自然科学基金项目《ATM网络中变速率视频编码及其统计特性研究》和国家教委博士点基金项目《数学信号处理在ISDN中的应用》。在视频编码领域，常义林取得了创造性的成果。他共负责和参加了20项科研项目，其中有10多篇学术论文被国际三大权威检索收录。2010年，常义林被
中国通信学会评为会士。