秦属泗水郡鹿上县；汉改鹿上为原鹿（治所在今公桥阮城），后被原鹿与富陂两侯国分领；三国时期隶属富陂县，晋为原鹿县；南北朝划归汝阴郡；隋、唐至五代为颍州治下，宋改颍州府为顺昌府，置焦陂（今焦陂集）、永安二镇。
元属河南行省汝宁府颍水县（治所在今地里城），后并入颍州。明为凤阳府颍州所领；清雍正二年升颍州为直隶州，清雍正十三年年升为府，原颍州改为阜阳县。民国时期今县境为阜阳县之三（焦陂）、六（地城）两区辖地。
1947年11月，中国人民解放军开辟阜阳南乡，曾设立阜南县。1949年2月析阜阳、颍上、临泉三县地设立阜南办事处。1950年7月改办事处为阜南县，因在阜阳之南故名，隶属阜阳专区，辖原阜阳之赵集、苗集、于集、公桥和原临泉之方集，原颍上之黄岗共六区。1952年阜阳之柴集、许堂、朱寨三区划归阜南县。
1990年第四次人口普查，全县共有311875户，1284531人。
1996年，阜南县面积1816平方千米，人口139.5万人，其中农业人口130.3万人。辖20个镇、11个乡：城关镇、方集镇、中岗镇、曹集镇、田集镇、柴集镇、袁集镇、赵集镇、苗集镇、黄岗镇、新村镇、朱寨镇、张寨镇、焦陂镇、王化镇、王堰镇、地城镇、王家坝镇、洪河桥镇、三塔集镇、王店孜乡、城郊乡、公桥乡、郜台乡、许堂乡、会龙乡、龙王乡、柳沟乡、段郢乡、于集乡、老观乡。共有753个行政村。县政府驻城关镇。
2000年第五次人口普查，阜南县常住总人口1272431人，其中，城关镇99827人，方集镇27823人，中岗镇30921人，柴集镇53189人，新村镇45291人，三塔集镇53019人，朱寨镇57836人，袁集镇38626人，赵集镇37992人，田集镇43651人，苗集镇44449人，黄岗镇43182人，焦陂镇49986人，张寨镇43101人，王堰镇39694人，洪河桥镇51370人，地城镇30552人，王家坝镇22982人，王化镇28514人，曹集镇36140人，王店孜乡40485人，许堂乡50341人，会龙乡35665人，柳沟乡32517人，段郢乡45389人，公桥乡40537人，龙王乡23737人，于集乡23169人，老观乡27328人，郜台乡42814人，城郊乡32304人。
2004年末，阜南县辖21个镇、10个乡：城关镇、方集镇、中岗镇、柴集镇、新村镇、三塔集镇、朱寨镇、袁集镇、赵集镇、田集镇、苗集镇、黄岗镇、焦陂镇、张寨镇、王堰镇、地城镇、洪河桥镇、王家坝镇、王化镇、曹集镇、柳沟镇、王店孜乡、许堂乡、会龙乡、城郊乡、段郢乡、公桥乡、龙王乡、于集乡、老观乡、郜台乡；阜蒙农场。
2006年，经安徽省政府同意，安徽省民政厅《关于同意将阜南县袁集镇划归阜阳市颍州区管辖的批复》文件批准同意将阜南县袁集镇整建制划归颍州区管辖。10月10日，阜阳市政府举行交接会议，将阜南县袁集镇正式划归颍州区管辖。调整后的阜南县辖29个乡镇，面积1768.4平方千米，人口149.93万人。
2006年，撤销城关镇、城郊乡，合并设立鹿城镇。12月27日，鹿城镇正式成立，面积108.3平方千米，人口16.22万人。全县辖20个镇、9个乡：鹿城镇、方集镇、中岗镇、柴集镇、新村镇、三塔集镇、朱寨镇、赵集镇、田集镇、苗集镇、黄岗镇、焦陂镇、张寨镇、王堰镇、地城镇、洪河桥镇、王家坝镇、王化镇、曹集镇、柳沟镇、王店孜乡、许堂乡、会龙乡、段郢乡、公桥乡、龙王乡、于集乡、老观乡、郜台乡。
2010年第六次人口普查，阜南县常住总人口1168112人，其中，方集镇27245人，中岗镇29410人，柴集镇47142人，新村镇36384人，三塔镇46354人，朱寨镇49280人，柳沟镇28434人，赵集镇32518人，田集镇40429人，苗集镇40453人，黄岗镇41024人，焦陂镇43101人，张寨镇37867人，王堰镇39732人，地城镇26506人，洪河桥镇50575人，王家坝镇20523人，王化镇26969人，曹集镇32826人，鹿城镇150105人，王店孜乡37821人，许堂乡43025人，会龙乡31271人，段郢乡44296人，公桥乡37212人，龙王乡22149人，于集乡20399人，老观乡25714人，郜台乡40282人，阜南工业园区17820人，阜濛农场1246人。
2012年2月23日，安徽省民政厅下发《关于同意阜南县会龙乡撤乡建镇的批复》，经省政府同意，撤销会龙乡设立会龙镇。调整后，全县辖21个镇、8个乡。
2013年，省民政厅（民地字[2013]197号）批复同意将阜南县的三塔集镇整建制划归阜阳市颍州区管辖（2014年1月3日正式移交）。（三塔集镇面积69.7平方千米，人口7.62万人，辖17个村委会、248个自然村）