彭阳乡位于镇原县东南部，历史上曾被称为彭阳村。该地区历史悠久，出土文物丰富，包括旧石器时代的石器和大量的古脊椎动物化石。彭阳故城及其周边地区的文化遗产，如玉山寺石窟，均为省级文物保护单位。

彭阳乡在不同的历史时期有着不同的名称。明朝、清代以及民国时期，该地区被称为彭阳村。1962年，彭阳村成立了彭阳人民公社，随后在1965年更名为太平公社彭阳大队。到了1983年，彭阳县乡人民政府正式建立，管辖着彭阳、上城等七个行政村共六十多个自然村。

彭阳乡政府所在地即为汉代彭阳县故城遗址。该遗址北侧紧邻彭阳故城北墙，除了中间新开凿的壑口外，其余部分基本保持完好。南部城墙由于茹河的侵蚀已经消失，而东西两侧的城墙则只剩下一些残缺的部分。在城区经常能够发现秦汉的建筑碎片。彭阳县故城占地面积约为250米乘以200米，城墙高度可达10米，底部厚度大约为6米，夯土层厚度在20至30厘米之间。城墙上设有两个大门和一个便门，四个角落各有一座敌楼，尽管已成废墟，但仍能辨认出来。1983年，彭阳县故城被认定为县级文物保护单位，1996年升级为省级文物保护单位。

彭阳乡境内发现了丰富的考古遗迹和文物。在寺沟口发掘出了属于旧石器时代的石核等石器，这些珍稀文物目前收藏于甘肃省博物馆。此外，还有大量的古脊椎动物化石，如犀牛骨骼等。1991年，在彭阳故城西侧的彭阳村里出土了一块名为西禅院碑的石碑，高95厘米，宽56厘米，厚15厘米。碑面上的文字记录了西禅院的历史变迁，显示其最初建造于后周时期，后来在宋代进行了重修。这块石碑现在保存在镇原县博物馆，被评定为国家二级文物。彭阳故城附近的玉山寺石窟也是省级文物保护单位。另外，王沟仰韶文化遗址和寺沟新石器时代遗址也提供了有关当地历史文化的重要线索。萧金宋塔内的砖刻文字表明，北宋中期萧金地区隶属于彭阳县。萧金镇野林村的西汉墓出土的铜鼎上的铭文证实了这一点，这些铜鼎现由庆阳市博物馆收藏。这些文物对于研究中原地区古代文明和彭阳古县的历史具有重要价值。