安阳乡具有悠久的历史和深厚的文化底蕴。1728年（清雍正六年）隶属于遂安县，1910年（清宣统二年）遂安县划分为12区时，安阳属区政府所在地；1959年因新安江水库形成后，于1965年4月由上梧公社与桐川公社合并成为安阳公社，公社所在地在安阳乡安阳村虎山坪自然村，一直延续至今。

1981年分设为上梧乡和安阳乡，1992年合并为安阳乡。