同治元年（1862），
知府杨翰重建。有正殿一座，上为种蕉亭，左为醉僧楼，另建书禅精舍，舍旁储
怀素所书诸碑。
至民国38年（1949），种蕉亭、醉僧楼、书禅精舍、佛殿已难睹旧貌，剩下的正殿也于1981年被地区精神病院拆除，现仅存风化剥落严重的
清代摹刻的怀素
草书“千字文”贴碑一块。
绿天庵，在
永州市零陵区东山之上，是
天宝著名书法家怀素和尚修行与练字的地方。遗址尚存，有笔冢、墨池等。
庵正向东，小殿三间，制甚朴拙。中供毗卢佛一尊。前檐有匾，八分书“古绿天庵”四字，乃同寅
刘公慰三所题也。
殿右角有石，正圆，高二尺，大四周。上有铭字，磨灭不可辨识，乃
怀素笔冢之塔顶也。昔怀素退笔为冢，后人重之，为修石塔。
嗟乎！怀素，以一衲子，善
草书，遂名动寰区，传声异代。至今过其地者，凭吊兴怀，不能自己。
同寅：同官，同僚。刘慰三：即刘作霖，武清（今天津市武清县）
举人，康熙六年任永州同知。