砚山以维摩山顶水池之特殊地貌形状“山势颇秀，其形如砚”而得名。 西汉时期，县境东部属牂牁郡句町、镡封、进桑、宛温县，西部属益州郡毋棳县。东汉属益州牂柯郡。三国蜀汉为益州兴古郡。西晋至南朝梁属宁州兴古郡。北朝周属南宁州。隋属南宁州总管府昆州。唐初属岭南道僚子部，唐南诏国属通海都督府辖地。宋大理国属最宁府维摩部、教合三部。元属广南西路和哈迷万户府。明分属临安府阿迷州教化长官司，广南府和广西府维摩州。清为开化府文山县、广西直隶丘北县、广南府宝宁县、临安府阿迷州辖地。清道光三年（1823），设江那县丞。
民国元年（1912）设江那县佐，隶属文山县；小维摩县佐，属广南县。民国22年（1933）6月，由文山县江那县佐、广南县的小维摩县佐析置合并砚山设治局。民国24年（1935）7月1日设置砚山县。民国31年（1942）属云南省第二行政督察区（驻文山县）。民国33年（1944）6月，砚山县为三等县，总面积3263平方千米，总户数17767户，总人口814000人，其中男性39465人、女性41935人。全县辖5镇、5乡；141保、1595甲。民国37年（1948）砚山县属云南省第四行政督察区（驻砚山县）。
1949年4月8日在者腊建立了县人民民主政府，除县城外，各区乡普遍建立了人民民主政府。1949年11月30日，砚山全境解放；12月1日，县委、政府领导机关迁驻县城江那。1950年砚山县属文山专区。1957年5月24日，国务院全体会议第49次会议决定设置文山僮族苗族自治州（1965年10月12日国务院批复：文山僮族苗族自治州改为文山壮族苗族自治州），砚山县属文山州。
1960年9月13日，国务院全体会议第103次会议通过：撤销砚山县，将原砚山县的行政区域并归文山县（1958年10月已撤并）。1962年3月27日，国务院全体会议第115次会议决定：恢复砚山县，以合并于文山县的原砚山县行政区域为砚山县的行政区域（1961年8月已分置）。
1996年，全县面积3805平方千米，人口约40.1万人，辖4个镇、8个乡：江那镇、平远镇、稼依镇、阿猛镇、阿舍彝族乡、维摩彝族乡、干河彝族乡、盘龙彝族乡、阿基乡、者腊乡、蚌峨乡、八嘎乡。
2000年第五次人口普查，砚山县常住总人口437508人，其中：江那镇66527人，平远镇79703人，稼依镇39460人，阿猛镇23583人，阿舍彝族乡23723人，维末彝族乡49713人，盘龙彝族乡29815人，八嘎乡31917人，者腊乡28716人，蚌峨乡13422人，阿基乡29406人，干河彝族乡21523人。
2003年，砚山县辖4个镇、8个乡：江那镇、平远镇、稼依镇、阿猛镇、阿基乡、者腊乡、蚌峨乡、八嘎乡、阿舍彝族乡、维摩彝族乡、盘龙彝族乡、干河彝族乡，以及平远、稼依2个华侨农场，93个行政村、6个社区，995个自然村，1289个村民小组。2005年，全县总人口44.8万人，其中农业人口41.1万人，少数民族人口28.79万人，占总人口的64.3%。
2006年，撤销阿基乡，其行政区域并入阿猛镇，镇政府驻地不变（省政府2006年3月16日批准）。2006年末，砚山县面积3888平方千米，人口44.79万人。辖4个镇、7个乡（其中4个民族乡）：江那镇、平远镇、稼依镇、阿猛镇、阿舍彝族乡、维末彝族乡、盘龙彝族乡、八嘎乡、者腊乡、蚌峨乡、干河彝族乡；回龙农场。共有7个居委会、93个行政村。
2010年第六次人口普查，砚山县常住总人口463261人，其中：江那镇79448人，平远镇88103人，稼依镇41917人，阿猛镇53291人，阿舍彝族乡24356人，维末彝族乡51101人，盘龙彝族乡30076人，八嘎乡31697人，者腊乡28874人，蚌峨乡12797人，干河彝族乡21601人。
2014年，平远镇、稼依镇、阿猛镇被列为全国重点镇。