秦统一中国后，南岳衡山其地属衡阳郡。

三国吴会稽王太平二年（257年），隶属衡阳县。

晋惠帝永熙元年（290年），改衡阳县为衡山县，为县名之始。

隋朝属衡州郡，唐属衡州，宋属衡州衡阳郡，元属衡州路，明清属衡州府。

民国废府存道，直属衡阳道。

20世纪50年代衡山县属湘南行政区（行政中心衡阳市）、衡阳专区。

1960年初，衡山划出南岳公社和南岳镇归衡阳市南岳管理局管辖，次年底，南岳管理局改称南岳县。

1966年撤销南岳县；将衡山县湘江以东地区析出组建衡东县，原南岳县与衡山县湘江以西地区合并为衡山县。

1984年正式成立南岳区人民政府，因五岳名山南岳而得名为南岳区。隋文帝诏定衡山为南岳，亦称岳市。

1984年，衡山县划出南岳镇、南岳乡及东湖、马迹、望峰三个乡镇的10个村，设立衡阳市南岳区（同时保留省南岳管理局），因五岳名山南岳而得名为南岳区。