秦统一中国后，南岳衡山其地属长沙郡。三国吴会稽王太平二年（257年），隶属衡阳县。晋惠帝永熙元年（290年），改衡阳县为衡山县，为县名之始。唐属衡州，宋属潭州，元属潭州路，后改为天临路。明清属衡州府。民国废府存县，直属湖南省。
20世纪50年代的衡山县包括今衡山、衡东两县和南岳区。1960年初，衡山划出南岳公社和南岳镇归省直属的南岳管理局管辖，次年底，南岳管理局改称南岳县。1966年撤销南岳县；将衡山县湘江以东地区析出组建衡东县，原南岳县与衡山县湘江以西地区合并为衡山县。
1984年，衡山县划出南岳镇、南岳乡及东湖、马迹、望峰三个乡镇的10个村，设立衡阳市南岳区（同时保留湖南省南岳管理局，两块牌子、一套人马），因五岳名山南岳而得名为南岳区。
2000年第五次人口普查，南岳区常住总人口53423人，其中，祝融街道16092人，南岳镇31459人，岳林乡2018人，龙风乡2249人，拜殿乡1605人。
2004年，南岳区辖1个街道、1个镇、3个乡。 祝融街道辖白云、岳庙、祝圣、独秀、迎宾、衡岳6个居委会。 南岳镇辖万福、红星、延寿、白龙、金月、岳东、水濂、新村、烧田、光明、荆田、兴隆、谭家桥、双田、黄竹、红光、枫木桥、樟树桥、紫峰、泗塘20个村委会。 岳林乡辖岳林、莲塘、杉湾、石山4个村委会。 龙凤乡辖龙凤、水口、红旗3个村委会。 拜殿乡辖龙潭、观音、拜殿3个村委会。（根据《湖南省县及县以下行政区划代码2004年》整理）
2010年第六次人口普查，南岳区常住总人口59681人，其中，祝融街道21820人，南岳镇33010人，岳林乡1716人，龙凤乡1798人，拜殿乡1337人。
2015年11月18日，省民政厅（湘民行发[2015]35号）批复同意：岳林乡、拜殿乡和龙凤乡成建制合并设立寿岳乡。调整后，全区辖1个街道、1个镇、1个乡：祝融街道、南岳镇、寿岳乡。