蔡襄祠始建于
宋朝，时间不详，据传是在洛阳桥（又称“万安桥”）竣工不久后建成的。《万安渡石桥记》碑勒石之后不久，当地人民为缅怀蔡襄在泉为官造福一方、为修建跨海长桥竭尽心智的功绩，自发捐献立祠，用以纪念他一生为官忠正、造福人民而奉敬之。
蔡襄祠自宋朝始 来，历经多次重建、重修。1238年（
南宋嘉熙二年
），郡守刘伟叔重建；明永乐年间，郡守胡器重重修
洛阳桥，一并重修蔡
公祠；1470年（明成化六年），都察院右
都御史腾公捐资重修；明弘治年间，
李显知
泉州市时重修；1523年（明嘉靖二年），郡守高越重修祠宇；1640年（明崇祯十三年），郡守
孙朝让重建；1692年（清康熙三十一年），福建陆路军提督
张云翼重修并赋诗以纪其事；1763年（清乾隆二十八年），晋江县令罗溪人方鼎捐资重修；1875年（清光绪元年），义州人
李鹤年重修，并赋诗以纪其事；1985年，泉州市文管会重修，重塑
蔡襄坐像，祠内设蔡襄纪念馆。
蔡襄祠为
清代典型殿堂式建筑，坐北朝南，三
开间，三进深。宽15米多，每进深20米，三进计约60米，建筑面积900平方米左右。
首进为大门，门楣顶匾额大书“宋郡守
蔡忠惠公祠”8个字。大门有一副1875年（清光绪元年）
黄贻楫写的对联：“驾桥天地老；留笔惊鬼神。”前文柱有对联（乃集蔡襄诗句）：“晓虹跨江一千尺；乐事全归众人心。”后文柱有对联：“四谏经邦昔日芳型垂史册；万安古渡今朝济众肃观瞻。”
正殿中央，有
蔡襄端坐雕像，体态庄重而洒逸，颇有文士、名宦之风范。
塑像前为举世闻名的《万安渡石桥记》丰碑2方，分立左右两侧。该碑系蔡襄亲自撰文，亲笔题写。《万安渡石桥记》碑文简洁凝练，仅153字，书法精湛，笔力雄健遒劲，刻工传神，世称文、书、镌三绝。东侧的为原碑，西侧为解放后摹刻的。其他9方
碑刻分立廊下两侧，均系明清两代重修
洛阳桥及蔡襄祠之碑记，其中不乏考证文物和书法艺术价值。
第三进殿厅系20世纪80年代，
泉州市文管部门专门仿制泉州境内各地古代大小
石桥之模型，展示中华民族古代能工巧匠的高超修造桥梁艺术和智慧。
蔡襄祠门庭左右 两侧分别竖立2方巨碑，并建碑亭保护，右侧为清朝军门提督、关中人
张云翼亲自撰重修
蔡襄公祠碑记及怀蔡忠惠公七言古长诗，分刻于巨碑两面，左侧乃清朝蔡致远撰《舆庆堂》记及《张公又南去思歌》碑，也分刻于巨碑两面。
蔡襄（1012-1067年），字君谟，福建仙游人，与
苏轼、
黄庭坚、
米芾并称为书法“宋四家”。1030年（
北宋天圣八年）参加
东京汴梁乡试，获第一名；次年举甲科
进士第十名。先后在宋朝中央政府担任过馆阁校勘、知谏院、直史馆、知制、龙图阁直学士、枢密院直学士、翰林学士、三司使、端明殿学士等职，并出任
福建路（今福建
福州市）
转运使，知泉州、福州、开封和
杭州府事。卒赠
吏部侍郎；
乾道年中，又赐谥“忠惠”。