五代十国周显德四年(957年)僧正友始建。
北宋庆历八年(1048年)后，县治从寺北迁往北门今址，县治旧址拓之为寺。明洪武三十一年(1398年)改为公馆；
成化三年(1467年)僧圆亮募建佛殿及法堂，后；弘治十七年(1504年)护印僧明殷募建后厅3间，又圮；
嘉靖十三年(1534年)重建；万历十八年(1590年)改后厅为文昌祠。清康熙间(1662～1722年)又改祠为“永贞义学”，
爱新觉罗·弘历二十五年(1760年)改为“罗川书院”，移寺门于东向，留后殿为寺。
爱新觉罗·旻宁七年(1827年)僧坤玉募缘重建，寺为土木结构，总深22米。1984年新建韦驮殿亭1所。