据明朝于慎行《迁城记》：“繁峙，雁门塞下邑也。城于山麓，群山环而拱之，故曰繁峙。”春秋属晋，为霍人邑。战国属赵，称藿人。秦属代郡，东为卤县地，西为霍人县地。西汉置莜人县（汉晋之繁畤[zhì]在今浑源境），东汉废。晋复称莜人县，属雁门郡，后废，繁畤来治，北周废。隋开皇十八年复设繁畤县。【畤：水中的小块陆地。峙：直立，耸立】
金贞佑三年（1215）升代州繁畤县为坚州，隶太原府。元隶冀宁路。明洪武二年（1369）改坚州为繁峙[shì]县，属太原府，八年改属代州。万历十四年（1586）县治徙石龙岗，即今城关。民国初年属雁门道，道废后直属省。抗战时期属晋察冀边区一专署。解放战争时期属察哈尔省浑源专署。1949年属山西省忻县专区。1958年11月代县与繁峙合并，属晋北专区。1961年恢复代县，繁峙县复属忻县专区。1967年属忻县地区。1983年属忻州地区。2000年属地级忻州市。
1998年，全县面积2368平方千米，总人口23.5万人，其中非农业人口2.2万人，农业人口20.3万人。辖3个镇、17个乡：城关镇、砂河镇、大营镇、杏园乡、高升寨乡、岩头乡、茶铺乡、宽滩乡、光裕堡乡、下茹越乡、集义庄乡、东山乡、伯强乡、后河乡、义兴寨乡、金山铺乡、柏家庄乡、小柏峪乡、横涧乡、庄旺乡。共有401个行政村。县政府驻城关镇。
2000年第五次人口普查，繁峙县常住总人口241938人，其中，城关镇42722人，砂河镇36113人，大营镇18023人，高升寨乡4260人，下茹越乡10539人，杏园乡19494人，光裕堡乡11506人，集义庄乡14709人，后河乡5185人，义兴寨乡6235人，东山乡18501人，伯强乡3398人，金山铺乡11261人，小柏峪乡3959人，柏家庄乡8034人，横润乡12502人，神堂堡乡3994人，庄旺乡3111人，岩头乡4826人，茶铺乡1793人，宽滩乡1773人。
2001年区划调整后，全县辖3个镇、10个乡：繁城镇、砂河镇、大营镇、下茹越乡、杏园乡、光裕堡乡、集义庄乡、东山乡、金山铺乡、柏家庄乡、横涧乡、神堂堡乡、岩头乡。县政府驻繁城镇。
2010年第六次人口普查，繁峙县常住总人口266800人，其中，繁城镇76088人，砂河镇60724人，大营镇17261人，下茹越乡8028人，杏园乡17375人，光裕堡乡8258人，集义庄乡11217人，东山乡20432人，金山铺乡14023人，柏家庄乡8188人，横涧乡12053人，神堂堡乡6538人，岩头乡6615人。
2015年末，繁峙县辖3个镇、10个乡（合计13个），8个居委会、402个村委会（合计410个）。