汉代为承阳、钟武县地，东晋至南北朝为重安县地，隋文帝开皇九年（589）并县，置衡阳县。因衡山在县西北，故名。1943年析置衡阳市。1952年衡阳县一分为二，东南部叫衡南县，西北部仍称衡阳县，县治迁西渡镇。
1995年，鼓峰、甘泉两乡并入三湖乡（同年撤乡设镇），曲兰乡撤乡设镇，石口、牌楼、古井三乡并入库宗乡，汇水、双溪两乡并入关市乡（缺其他乡镇调整资料）。
1996年，衡阳县面积2568平方千米，人口约111万人。辖14个镇、11个乡：西渡镇、三湖镇、井头镇、台源镇、曲兰镇、呆英岭镇、杉桥镇、金兰镇、金溪镇、洪市镇、界牌镇、集兵镇、渣江镇、演陂镇、大安乡、石市乡、长安乡、关市乡、角山乡、库宗乡、岘山乡、栏垅乡、岣嵝乡、溪江乡、樟木乡。县政府驻西渡镇。
2000年第五次人口普查，衡阳县常住总人口1087777人，其中，西渡镇143772人，集兵镇29312人，呆鹰岭镇47511人，杉桥镇21432人，井头镇59958人，演陂镇37399人，金兰镇67040人，洪市镇50507人，曲兰镇43594人，金溪镇33398人，界牌镇28456人，渣江镇61622人，三湖镇48336人，台源镇49757人，樟木乡25023人，岣嵝乡20907人，角山乡24848人，岘山乡56273人，关市乡43191人，栏栊乡20249人，库宗乡42148人，大安乡36625人，溪江乡33625人，石市乡46495人，长安乡16299人。
2001年4月4日，国务院批准（国函[2001]34号）：将衡阳县的呆鹰岭镇划归衡阳市蒸湘区管辖。
2004年，衡阳县辖13个镇、13个乡：西渡镇、集兵镇、杉桥镇、井头镇、演陂镇、金兰镇、洪市镇、曲兰镇、金溪镇、界牌镇、渣江镇、三湖镇、台源镇、樟木乡、岣嵝乡、岘山乡、关市乡、栏栊乡、库宗乡、大安乡、溪江乡、石市乡、长安乡、板市乡、樟树乡、潮江乡。
2010年第六次人口普查，衡阳县常住总人口1103677人，其中，西渡镇170351人，集兵镇29806人，杉桥镇20049人，井头镇59713人，演陂镇38456人，金兰镇70784人，洪市镇56014人，曲兰镇45609人，金溪镇32625人，界牌镇30390人，渣江镇62506人，三湖镇48156人，台源镇52384人，樟木乡25164人，岣嵝乡21154人，岘山乡61153人，关市乡42835人，栏垅乡21394人，库宗乡43618人，大安乡39483人，溪江乡32915人，石市乡49365人，长安乡15432人，板市乡12958人，樟树乡12958人，潮江乡8405人。
2011年，撤销关市乡、库宗乡，设立关市镇、库宗桥镇。2012年，撤销岘山乡、石市乡，设立岘山镇、石市镇。2015年11月18日，省民政厅（湘民行发[2015]36号）批复同意：潮江乡、集兵镇成建制合并设立集兵镇。调整后，全县辖17个镇、8个乡：西渡镇、集兵镇、杉桥镇、井头镇、演陂镇、金兰镇、洪市镇、曲兰镇、金溪镇、界牌镇、渣江镇、三湖镇、台源镇、关市镇、库宗桥镇、岘山镇、石市镇、樟木乡、岣嵝乡、栏垅乡、大安乡、溪江乡、长安乡、板市乡、樟树乡。总面积2558.61平方千米，总人口123.51万人。