按《安徽通志》：霍山在“霍山县西北五里，县以此名”（按，霍山“在县西北”误。据《读史方舆纪要》：霍山在“县南五里，本名天柱山，亦曰南岳山，又名衡山。”）。
南朝梁置霍州，又置岳安县，治今城关镇。隋开皇初改岳安县为霍山县。宋初并入六安县，明复置霍山县。1949年2月属六安专区（后改为地区），现属六安市。
1996年，霍山县面积2040平方千米，人口约36.5万人，辖9镇15乡：城关镇、下符桥镇、与儿街镇、落儿岭镇、佛子岭镇、诸佛庵镇、磨子潭镇、大化坪镇、漫水河镇、汪家冲乡、东西溪乡、胡家河乡、真龙地乡、但家庙乡、大沙埂乡、三板桥乡、桃源河乡、单龙寺乡、上土市乡、太平畈乡、白莲岩乡、黑石渡乡、白莲岩乡、道士冲乡、太阳乡。县政府驻城关镇。
2000年第五次人口普查，霍山县常住总人口332930人，其中（14个镇、10个乡），城关镇50438人，下符桥镇17319人，但家庙镇13917人，大沙埂镇13522人，与儿街镇18837人，磨子潭镇8776人，上土市镇17467人，漫水河镇9531人，大化坪镇12305人，落儿岭镇9482人，诸佛庵镇13533人，黑石渡镇23641人，佛子蛉镇11987人，东城镇12441人，真龙地乡3907人，单龙寺乡12978人，东西溪乡9040人，胡家河乡5013人，汪家冲乡6872人，白莲岩乡12328人，桃源河乡18688人，道士冲乡10308人，太阳乡7810人，太平畈乡12790人。
2004年末，霍山县辖12个镇、4个乡。
2010年第六次人口普查，霍山县常住总人口315144人，其中，衡山镇68824人，佛子岭镇14996人，下符桥镇15448人，但家庙镇12141人，与儿街镇31204人，黑石渡镇21019人，诸佛庵镇25464人，落儿岭镇8131人，磨子潭镇11941人，大化坪镇19636人，漫水河镇17795人，上士市镇14545人，单龙寺乡11325人，东西溪乡9829人，太平畈乡10255人，太阳乡7263人，经济开发区15328人。
2015年，撤销单龙寺乡，设立单龙寺镇（皖民地函[2015]69号）。至此，全县辖13个镇、3个乡。