胡公庙位于金公岩顶，是一座庙宇，依洞而建，洞宽20多米，深6米，高3米，正殿有胡公神像，两侧有厢房、伙房，前殿有一楼阁，正殿后面低矮的洞穴可用于贮藏物资。

胡则庙为纪念胡则，南宋末期，武义县百姓在胡公出家洁身之地金公岩巨洞中，建起了大殿，命名胡公庙；该洞也叫胡公洞，庙内塑有胡公及胡公夫人神像，还有财神爷、张道陵、茅山道人等像。胡公庙建成后，八婺百姓常朝拜，香火鼎盛。

胡公，名叫胡则，出生于永康胡库一书香人家。相传，胡则娶妻数年未孕，夫妻二人常拜佛求子。一日，观音娘娘化作凄凉老婆婆上门求乞，胡妻同情不已，给予肉饭招待并赠送衣物银两。老婆婆离去后，饭桌上出现一只仙桃市，胡则让妻子吃下仙桃，不久胡妻果然怀孕。怀胎十月，胡妻上厕所时产下一子，胡则喜中有悲，因儿子生于厕所，遂取名为胡厕。胡厕3岁时伶俐，4岁出家为僧，12岁时其母也出家向佛，为儿消灾洁身，并让胡厕回方岩五峰书院读书。胡厕面壁苦读，文才出众，最终金榜题名。晋见皇上时，皇上认为原名难听，赐名胡则。胡则为谢隆恩，一生清正廉洁，造福百姓，声名远扬，官居兵部侍郎。