北宋置徽州。元为徽州路。明、清为徽州府。
1949年设徽州专区，属皖南行署区，专署驻屯溪市，辖屯溪市及歙县（驻徽城镇）、旌德（驻旌阳镇）、绩溪、休宁（驻海阳镇）、祁门、黟县（驻碧阳镇）等6县。1952年徽州专区属安徽省领导，原池州专区所属太平、石埭2县及宣城专区所属宁国县划入徽州专区。1953年屯溪市改由省直辖。1955年屯溪市划归徽州专署领导。1956年撤销徽州专区，屯溪市改由省直辖，将宁国、旌德、绩溪、歙县、休宁、黟县、祁门、石埭、太平9县划归芜湖专区。1959年将屯溪市交由休宁县领导。
1961年复设徽州专区，专署驻屯溪市，原属芜湖专区的歙县（驻徽城镇）、绩溪、旌德（驻旌阳镇）、宁国、休宁（驻海阳镇）、祁门、黟县（驻碧阳镇）、太平（驻甘棠镇）等8县划入徽州专区。1961年1月撤销屯溪市，改设为屯溪镇，划归休宁县领导；同年8月恢复屯溪市。1962年屯溪市改由省直辖。1963年撤销屯溪市，并入休宁县。1971年徽州专区改称徽州地区，地区驻休宁县屯溪镇，辖休宁（驻海阳镇）、太平（驻甘棠镇）、旌德（驻旌阳镇）、宁国（驻河沥溪镇）、绩溪（驻华阳镇）、歙县（驻徽城镇）、祁门、黟县等8县。1974年将太平县划归池州地区。1975年复设屯溪市，属徽州地区领导。地区驻屯溪市。
1987年11月27日，国务院批准同意撤销屯溪市、黄山市，设立黄山市（地级）；撤销徽州地区，所属的歙县、休宁县、黟县、祁门县划归黄山市；石台县划归安庆地区；旌德县、绩溪县划归宣城地区；设立黄山市屯溪区，以原屯溪市为其行政区域；设立黄山市黄山区，以原黄山市为其行政区域；设立黄山市徽州区，以歙县、休宁县各一部分为其行政区域。
2000年第五次人口普查，黄山市常住总人口1370377人，其中，屯溪区155233人，黄山区159845人，徽州区91122人，歙县454593人，休宁县242260人，黟县93919人，祁门县173405人。
2004年末，黄山市辖3个市辖区、4个县，共有6个街道、50个镇、56个乡。
2010年第六次人口普查，黄山市常住总人口1358980人，其中，屯溪区217637人，黄山区147620人，徽州区95529人，歙县409247人，休宁县250457人，黟县80722人，祁门县157768人。
2014年末，黄山市辖3个市辖区、4个县，共有6个街道、55个镇、46个乡。
2015年7月，将徽州区岩寺镇长源村、仙和村和西溪南镇长林村（3村总面积约15平方千米，总人口约0.7万人），休宁县万安镇蕉充村、霞高村、陈坑村、瓯山村（4村总面积约20平方千米，总人口约0.6万人）划入屯溪区新潭镇。