因在淮河南岸，故名。1949年7月设淮南矿区，由皖北行署直辖。1950年9月（一说1951年）改设淮南市，为皖北行署辖市。1952年4月淮南市由安徽省直辖。1977年原属阜阳地区的凤台县交由淮南市领导。
1996年，淮南市面积2121平方千米，人口约188.4万人，市府驻田家庵区洞山。辖田家庵、大通、八公山、谢家集、潘集5区和凤台县。
1999年11月，省政府批准设立毛集社会发展综合实验区（2000年6月正式挂牌成立），直属淮南市政府领导，正县级建制，辖凤台县的毛集镇、夏集乡、焦岗乡和焦岗湖渔场。
2000年第五次人口普查，淮南市常住总人口2040649人，其中：大通区129039人，田家庵区404713人，谢家集区256873人，八公山区166452人，潘集区400151人，凤台县683421人。
2004年5月29日，国务院（国函[2004]39号）批准同意将合肥市长丰县的孔店乡划归淮南市大通区管辖，长丰县的史院乡、三和乡、曹庵镇划归淮南市田家庵区管辖，长丰县的孙庙乡、孤堆回族乡、杨公镇划归淮南市谢家集区管辖。2004年末，全市共有19个街道、24个镇、23个乡。
2010年第六次人口普查，淮南市常住总人口2333896人，其中：大通区180917人，田家庵区593981人，谢家集区320251人，八公山区175993人，潘集区395684人，凤台县667070人。
2012年8月8日，省民政厅批复，经省政府同意，将淮南市政府驻地由洞山中路9号迁至和风大街88号。
2013年8月，国家级开发区淮南经济技术开发区划归大通区代管。10月1日，将凤台县的李冲回族乡整建制和城关镇淮河以南的芦塘、西魏、淮丰、胜利、拐集、灯塔、山赵、夏湾、淮滨、黑龙潭10个社区（即凤台经济开发区）正式划归八公山区管辖（2013年12月31日省政府批准同意上述调整）。11月，将田家庵区的曹庵镇、三和乡、史院乡行政区域和淮南现代产业园区划归谢家集区代管。
2013年末，淮南市总人口2432890人，其中非农业人口1116134人；辖5个市辖区、1个县、1个社会发展综合实验区，共有19个街道、32个镇、14个乡，237个社区、561个行政村。2014年末，淮南市共有19个街道、34个镇、12个乡。
2015年7月1日，将八公山区的李冲回族乡、凤台经济开发区及管理的社区正式划归凤台县管辖（淮[2015]66号）。
2015年12月3日，国务院（国函[2015]206号）批复同意将六安市寿县划归淮南市管辖。