祁阳在秦代属长沙郡地，西汉为泉陵侯国地，东汉属泉陵县地。三国吴宝鼎元年（266）析泉陵县置祁阳县（县治在今祁东县金兰桥），以地处古祁山之阳而得名。隋开皇九年（589）并入零陵。唐武德四年（621）析置祁阳，建治所于老山湾，属永州零陵郡。宋仍之。元属永州。
明属永州府，景泰三年（1452）治所迁今浯溪镇。民国三年（1914）属衡阳道，民国二十七年（1938）属第七行政督察区。1950年属零陵专区，1952年析县境东北置祁东县，同年属湘南行政公署，1954年宁远县第11区划入，改属衡阳地区，1983年改属零陵地区，1995年后属永州市。
1996年，祁阳县面积2538平方千米，人口约93万人。辖21个镇、6个乡（其中1个民族乡）：浯溪镇、黎家坪镇、白水镇、观音滩镇、大忠桥镇、肖家村镇、八宝镇、黄泥塘镇、潘市镇、羊角塘镇、下马渡镇、大村甸镇、文明铺镇、茅竹镇、三口塘镇、进宝塘镇、梅溪镇、七里桥镇、文富市镇、龚家坪镇、金洞镇、小金洞乡、白果市乡、凤凰乡、石鼓源乡、上司源乡、晒北滩瑶族乡。县政府驻浯溪镇。
2000年第五次人口普查，祁阳县常住总人口944602人，其中，浯溪镇123107人，观音滩镇38351人，茅竹镇23655人，大忠桥镇48730人，三口塘镇24569人，肖家村镇44593人，八宝镇34428人，白水镇63376人，进宝塘镇29309人，黄泥塘镇34614人，潘市镇47056人，梅溪镇27040人，羊角塘镇59226人，七里桥镇39028人，下马渡镇52077人，大村甸镇33990人，黎家坪镇50132人，文富市镇32698人，文明铺镇51960人，龚家坪镇34301人，金洞镇9442人，小金洞乡6448人，晒北濉乡8067人，白果市乡5287人，风凰乡8256人，上司源乡5002人，石鼓源乡9860人。
2001年末，全县总人口98.14万人。辖21个镇、6个乡（其中1个民族乡）：浯溪镇、观音滩镇、茅竹镇、大忠桥镇、三口塘镇、肖家村镇、八宝镇、白水镇、黄泥塘镇、进宝塘镇、潘市镇、梅溪镇、羊角塘镇、下马渡镇、七里桥镇、大村甸镇、黎家坪镇、文富市镇、文明镇、龚家坪镇、金洞镇、小金洞乡、晒北滩瑶族乡、凤凰乡、白果市乡、石鼓源乡、上司源乡。共有951个村（居）委会。
2008年，湖南省民政厅批准（湘民行发[2008] 2号）：撤销祁阳县内下林场，设立内下乡。以原内下林场的管辖区域为新设内下乡的行政区域，内下乡辖4个建制村，总面积110平方千米，总人口0.46万人，乡人民政府驻内下。调整后，全县辖21个镇、7个乡（其中1个民族乡）。
2010年，撤销浯溪镇，设立龙山、长虹、浯溪3个街道。龙山街道辖龙山、九塘冲等11个社区和陶家岭、青竹等4个行政村，总面积24.6平方千米，总人口8万人，办事处机关驻民生北路189号（原浯溪镇政府驻地）；长虹街道辖人民西路、新兴路等10个社区和官大岭、湘祁等8个行政村，总面积31.8平方千米，总人口5.9万人，办事处机关驻长虹；浯溪街道辖王府坪、白竹湖等10个社区和土轻、塔边等6个行政村，总面积25.6平方千米，总人口6.4万人，办事处机关驻椒山南路215号。调整后，祁阳县辖20个镇、7个乡、3个街道。县政府驻地不变，属长虹街道办事处辖区。全县总面积2538平方公里，总人口101.7万人，其中县城面积92平方千米，人口20.3万人。
2010年，从金洞镇析出胜利、睦源、下司口、中棚、油榨铺、桐子山等6个行政村设立万宝山乡。新设万宝山乡辖6个行政村，总面积62平方千米，总人口0.61万人，乡政府驻油榨铺（原万宝山工区机关驻地）。行政区划调整后，金洞镇辖11个行政村，总面积80平方千米，总人口1.83万人，镇政府驻地不变；全县辖3个街道、20个镇、8个乡（其中1个民族乡）。
2010年第六次人口普查，祁阳县常住总人口852204人，其中，浯溪镇174363人，观音滩镇32380人，茅竹镇19833人，大忠桥镇42453人，三口塘镇19165人，肖家村镇29447人，八宝镇32319人，白水镇55677人，黄泥塘镇24281人，进宝塘镇24728人，潘市镇37522人，梅溪镇21897人，羊角塘镇53165人，下马渡镇43120人，七里桥镇29978人，大村甸镇27369人，黎家坪镇43570人，文富市镇25117人，文明铺镇35982人，龚家坪镇27340人，金洞镇8559人，小金洞乡5246人，晒北滩瑶族乡4502人，凤凰乡7351人，白果市乡3755人，石鼓源乡7051人，上司源乡3859人，内下乡2592人，原种场2376人，畜牧场605人，挂榜山林场2216人，大江林场4386人。
2013年，省民政厅（湘民行发[2013]8号）批复同意：一、设立大江乡。以原大江林场管辖的大江边、郑家冲、绘家坪、长冲、黄沙5个国有工区及代管的12个建制村为大江乡的行政区域。行政区划调整后，大江乡辖塘岭、大院、瓦屋、九渡、彭家湾、唐家冲、赵家棚、百岭、黄沙、青石、白竹、龙凼12个建制村，总面积140平方公里，总人口1.01万人，乡人民政府驻大江。二、设立挂榜山乡。以原挂榜山林场所辖的4个国有工区及代管的18个建制村为挂榜山乡的行政区域。行政区划调整后，挂榜山乡辖观云口、邓家岭、小挂榜山、龙塘、双江口、田家冲、高照、金竹、高冲岐、栗山坪、大坳、豪爽口、雅园、百级、水冲、梅子坪、城月、紫山冲18个建制村，总面积112平方公里，总人口1.23万人，乡人民政府驻观云口。调整后，全县辖3个街道、20个镇、10个乡（其中1个民族乡）：龙山街道、长虹街道、浯溪街道、观音滩镇、茅竹镇、大忠桥镇、三口塘镇、肖家村镇、八宝镇、白水镇、黄泥塘镇、进宝塘镇、潘市镇、梅溪镇、羊角塘镇、下马渡镇、七里桥镇、大村甸镇、黎家坪镇、文富市镇、文明镇、龚家坪镇、金洞镇、小金洞乡、晒北滩瑶族乡、凤凰乡、白果市乡、石鼓源乡、上司源乡、内下乡、万宝山乡、大江乡、挂榜山乡。
2015年11月11日，省民政厅（湘民行发[2015]20号）批复同意：大江乡的澎家湾、塘岭、大院、黄沙、白竹、青石、百岭、唐家冲、赵家棚、龙凼等10个建制村划入肖家村镇，设立肖家镇。大江乡的九渡、瓦屋等2个建制村并入大忠桥镇。内下乡与八宝镇成建制合并设立八宝镇。挂榜山乡与七里桥镇成建制合并设立七里桥镇。白果市乡与凤凰乡成建制合并设立凤凰乡。上司源乡与石鼓源乡成建制合并设立石鼓源乡。万宝山乡、小金洞乡与金洞镇成建制合并设立金洞镇。全县辖3个街道、20个镇、3个乡（其中1个民族乡）：龙山街道、长虹街道、浯溪街道、观音滩镇、茅竹镇、大忠桥镇、三口塘镇、肖家村镇、八宝镇、白水镇、黄泥塘镇、进宝塘镇、潘市镇、梅溪镇、羊角塘镇、下马渡镇、七里桥镇、大村甸镇、黎家坪镇、文富市镇、文明镇、龚家坪镇、金洞镇、晒北滩瑶族乡、凤凰乡、石鼓源乡。