由于白衣阁毁于元朝兵火之中,故该阁始建年代难以考证。据后来仅有资料记载,白衣阁大约初建于
五代十国后梁,
元朝被毁后于明洪武二十年(一三七八年)僧尼义果重修。时末又毁于水患,
清代邑人
刘昌又予以重修。光绪年间僧尼集资募修大殿,但又毁于一九二七年。白衣阁是元明时「大瓦寺」(一名打瓦寺)的一部分,为佛教尼众主持作佛事活动的场所。大瓦寺坐北向南,殿宇宽广,有大殿和厢房数间。在「文革」期间,
佛像被毁,法器无存,殿宇房被一工厂占用。「
改革开放」以后,落实宗教政策,归还
寺院房产,并积极支持各方社会力量捐资出力,以成建寺
造像。在政府和佛教四众的鼎力相助下,古观音寺修一新,法轮再转,佛日重辉。