清置阜阳县。小山为阜，县在山南，故曰阜阳。秦为泗水、陈、砀等郡地。汉为汝南、沛、淮阳等郡地。西晋泰始二年(226)置汝阴郡，治汝南县(今阜阳市)。北魏于汝阴置颍州。明，颍州属凤阳府。清雍正十三年(1735)升颍州为颍州府。1934年置第七行政督察区，专署驻阜阳县。
1949年4月设阜阳专区，属皖北行署区，专署驻阜阳县，辖界首、阜城、亳城3市及阜阳、太和、亳县、涡阳、蒙城、凤台、颍上、阜南（由阜阳县析置，驻薛集）、临泉等9县。1950年撤销阜城、亳城2市。1952年阜阳专区属安徽省领导。1953年撤销界首市，以原界首市辖区及太和、临泉2县各一部合并设立界首县。1964年以阜阳、涡阳、蒙城、凤台4县各一部分地区设立利辛县（驻利辛集）。
1970年阜阳专区改称阜阳地区，地区驻阜阳县，辖阜阳、亳县、涡阳、蒙城、利辛、凤台、颍上、阜南（驻薛家集）、临泉、界首、太和等11县。1975年由阜阳县析置阜阳市，属阜阳地区领导，地区驻阜阳市。1977年将凤台县划归淮南市领导。1986年，撤销亳县，设立亳州市（县级）。1989年，撤销界首县，设立界首市（县级）。
1996年1月1日，国务院批准（国函[1996]1号）：（1）撤销阜阳地区和县级阜阳市，设立地级阜阳市。市人民政府驻新设立的颍州区清河路。（2）设立阜阳市颍州区，区人民政府驻颍南大道，颍州区辖鼓楼、颍西、清河3个街道办事处和王店、程集、西湖、九龙、三十里铺、马寨6个乡镇。（3）设立阜阳市颍东区，区人民政府驻北京东路，颍东区辖河东、向阳、新华3个街道办事处和插花、枣庄、老庙、口孜、袁寨、冉庄、正午、杨楼、王古同9个乡镇。（4）设立阜阳市颍泉区，区人民政府驻人民东路，颍泉区辖中市、颍泉、周棚3个街道办事处和伍明、宁老庄、闻集、行流、苏屯、姜堂、邵营、苏集8个乡镇。（5）原阜阳地区的利辛县、颍上县、太和县、临泉县、蒙城县、涡阳县、阜南县划归阜阳市管辖。原阜阳地区的毫州市、界首市由省直辖。（注：地级阜阳市代管亳州、界首2个县级市）
2000年5月21日，国务院批准同意调整阜阳市的行政区划，将阜阳市管辖的涡阳县、蒙城县、利辛县划归新设立的地级亳州市管辖。调整后的阜阳市辖颍州区、颍东区、颍泉区和临泉县、颍上县、阜南县、太和县。县级界首市由安徽省直辖。
2000年第五次人口普查，阜阳市常住总人口8003963人，其中，颍州区582400人，颍东区547576人，颍泉区589081人，临泉县1690872人，太和县1371482人，阜南县1272431人，颖上县1309243人，界首市640878人。
2004年末，阜阳市辖3个市辖区、4个县，代管1个县级市，共有14个街道、124个镇、41个乡。
2010年第六次人口普查，阜阳市常住总人口7599913人，其中，颍州区691698人，颍东区519562人，颍泉区557687人，临泉县1543218人，太和县1361145人，阜南县1168112人，颍上县1196535人，界首市561956人。
2014年末，阜阳市辖3个市辖区、4个县，代管1个县级市，共有13个街道、124个镇、33个乡（其中1个民族乡）。