公元654年（唐永徽六年），
李治立
武则天为皇后，褚遂良极力反对，高宗震怒，将褚贬为潭州
都督。褚巡视潭州各县时，不时到湘乡城东感应寺与方丈和尚私叙兴唐大业。寺左有清池，褚公常临池赋诗，洗笔于池。明末清初，当地人民敬仰
褚遂良的书法和为人，便在池旁建褚公祠。祠前楹联云：“洗墨有清池，碎金留逸少真传，如见群鸿戏海；疾风知劲草，还笏报交皇顾命，休云飞鸟依人。”公元1229年（
南宋绍兴二年），
县丞邵自信曾浚治洗笔池，书横榜曰“唐都督褚公笔池”，为
湘乡市旧八景之一，名“笔沼春云”。
现词、池已毁，但仍存两件珍品：一是正殿前右廊壁间所嵌褚公《
大唐三藏圣教序》碑（现移至
湘乡市博物馆），高1.53米，宽0.72米。据考，当为褚书《
雁塔圣教序》之翻刻。
杜甫《发潭州》诗赞“褚公书绝伦”，即指出。
褚遂良，与
欧阳询、
虞世南、恭稷并称为唐四大书法家。二是门廊左侧有石幢，高约2米，四面各宽0.6米，公元1321年（元至治元年）立。