东汉置新兴县，隋开皇初改桓道县为武阳县。宋置宁远寨，后升寨为县。1914年改称武山县。以县西有武成山得名。又据《水经注》，武山，因武城川水得名。
1992年5月30日，鸳鸯乡改为鸳鸯镇。1996年，武山县面积2011平方千米，人口39.9万人。辖3个镇、17个乡：城关镇、洛门镇、鸳鸯镇、桦林乡、榆盘乡、嘴头乡、高楼乡、山丹乡、东顺乡、龙泉乡、郭槐乡、马力乡、袁河乡、滩歌乡、龙台乡、四门乡、温泉乡、草川乡、沿安乡、杨河乡。县政府驻城关镇。
2000年第五次人口普查，全县常住总人口399911人，其中，城关镇27251人，鸳鸯镇26062人，洛门镇26905人，马力乡29870人，袁河乡9506人，桦林乡15491人，高楼乡17426人，山丹乡23648人，滩歌乡34257人，龙台乡12271人，东顺乡25415人，郭槐乡22895人，温泉乡11145人，草川乡5804人，龙泉乡30582人，榆盘乡14475人，嘴头乡16894人，四门乡21216人，杨河乡14512人，沿安乡14286人。
2001年12月，滩歌撤乡设镇。？年，四门撤乡设镇。2003年，撤销东顺乡并入城关镇，撤销龙泉乡、郭槐乡并入洛门镇，撤销袁河乡并入马力镇，撤销草川乡并入温泉乡。调整后，全县辖6个镇、9个乡：城关镇、鸳鸯镇、洛门镇、滩歌镇、四门镇、马力镇、桦林乡、高楼乡、山丹乡、龙台乡、温泉乡、榆盘乡、嘴头乡、杨河乡、沿安乡。
2008年末，全县面积2011平方千米，辖15个乡镇，344个行政村，1601个村民小组，农业人口8.88万户41.50万人。
2010年第六次人口普查，武山县常住总人口437268人，其中，城关镇68643人，洛门镇89998人，鸳鸯镇26352人，滩歌镇37074人，四门镇27168人，马力镇42260人，山丹乡24235人，榆盘乡14227人，咀头乡16390人，桦林乡16103人，高楼乡18170人，杨河乡13400人，沿安乡13871人，温泉乡18314人，龙台乡11063人。
2015年，省民政厅（甘民复〔2015〕12号）批复同意撤销山丹乡，设立山丹镇；省民政厅（甘民复〔2015〕113号）批复同意撤销温泉乡、龙台乡、桦林乡、榆盘乡，设立温泉镇、龙台镇、桦林镇、榆盘镇。