余江县锦江书院是由倪镗的父亲倪阶创办的，曾在明朝时期获得嘉靖皇帝的御题匾额。该书院一度与白鹿书院、岳麓书院等齐名，成为江南地区著名的四大书院之一。

余江县在宋代被称为安仁县，安仁老县城位于锦江古镇。锦江古镇文化底蕴深厚，自古以来就有崇尚学术的传统。明清时期，这里建立了多所书院，其中包括锦江书院、玉真书院、见山书院等，这些书院不仅在当地有名气，还吸引了不少外县甚至外省的学生来此求学。倪玠，字介莆，号静大先生，是一位乡贡进士。他在南宋景定年间担任扬州佥判，后辞官回乡，在仙槎山潜心研究儒家思想。之后迁居至饶州（今江西省鄱阳县）安仁县的白塔村，建立倪氏家塾，开始聚徒讲学。他的儿子倪镗（公元1262-1346年），字仲瑶，一生致力于传播儒家思想，无论是教书育人还是在朝廷任职，都以此为己任。倪镗在父亲倪玠的基础上，扩大了倪氏家塾的规模，并将其命名为锦江书院。这一举措得到了当地官员的支持，上级部门也对倪镗的行为表示赞赏。锦江书院拥有大成殿、敬仪堂、云章阁、同理楼等多个建筑，并专门设立了祭祀朱熹的祠堂，配以真德秀、江万里等人的牌位。此外，倪镗还邀请了多位学者前来授课，并设置了膳食田地，以保障书院的正常运营。他还向朝廷申请了匾额以表彰书院的贡献。倪镗在南康路学教授任内，曾协助南康路总管重新修整白鹿洞书院的教学规制，尊重地方儒士，推动了学院的发展。由于安仁倪氏锦江书院受到朝廷的高度赞扬，贵溪倪氏也在上清（今鹰潭贵溪市上清镇）建造了一座锦江书院。