栗木乡原为衡东县下辖的乡镇级行政单位，位于衡东县西南部，东北距县城10公里。新中国成立初期，栗木隶属于衡山县新塘区。1958年成立栗木人民公社，1966年划归衡东县欧阳海区，1984年改制为栗木乡。1989年，泉新乡并入栗木乡。2015年11月18日，栗木乡与德圳乡、莫井乡和吴集镇合并，设立吴集镇。栗木乡的总面积为87.5平方千米，2003年的人口数量为21,000人。

栗木乡曾下辖20个村委会，包括溪塘村、中塘村、青塘村、龙源村、施茶村、官冲村、牌楼村、前锋村、柏桥村、龙堰村、秋波村、双泉村、泉新村、黄金村、周田村、陈山头村、巷子村、紫冈村、秧山村和官庄村。

栗木乡地处交通便利的位置，省道1843线穿境而过，距离霞流市火车站约8公里，各村均通公路。该乡农产品资源丰富，主要生产稻谷，并盛产柑橘属、油茶、菜油、大豆、席草、花生等。此外，栗木乡积极调整农村产业结构，发展养殖业，以此作为增加收入的主要途径。

栗木乡的城镇基础设施建设得到加强，逐步形成了小城镇的规模。220千伏衡东栗木变电站作为湖南省电力公司2015年的基建投产项目之一，也是衡阳市公司第二座220千伏智能变电站，其投运优化了衡阳东部地区的电网结构，提高了供电能力。