光绪二十八年置皮山县，以古国名命名。维吾尔族称皮山县为“固玛”，其含义尚不确定，有“小屋”、“笼子”、“可疑之地”等几种说法。《西域同文志》释：“谓可疑也。初，其地人奉回教后，有逃去者，因以名之也。”
西汉时是西域三十六国之一的皮山国，最早见于《前汉书》，王治皮山城。西汉神爵二年（公元前60年）属西域都护府。东汉以后属于阗。《魏书》作蒲山。唐设皮山城，隶安西大都护府。清初属叶尔羌。清光绪十年（1884年）隶属叶城县。光绪二十八年（1902年）由叶城县析固玛、桑株等三十八庄置皮山县，县治固玛，隶属莎车府。1920年改隶和阗道，后属和阗行政区。1950年属和阗专区，1977年后属和田地区。
1996年，皮山县辖2个镇、13个乡：固玛镇、杜瓦镇、科克铁热克乡、阔什塔格乡、桑株乡、木吉乡、木奎拉乡、藏桂乡、皮西那乡、乔达乡、皮亚勒玛乡、瑙阿巴提塔吉克族乡、康克尔柯尔克孜族乡、巴什兰干乡、克里阳乡。
2000年第五次人口普查，皮山县常住总人口216024人，其中：固玛镇34750人、杜瓦镇9149人、阔什塔格乡13180人、克里阳乡5727人、科克铁热克乡30397人、桑株乡27447人、木吉乡18028人、乔达乡10379人、木奎拉乡16501人、藏桂乡12782人、皮亚勒玛乡5791人、皮西那乡6478人、巴什兰干乡4167人、瑙阿巴提塔吉克民族乡832人、康克尔阿尔克孜民族乡1786人、县国营牧场1022人、兵团皮山农场17608人。
2003年，全县总面积39741.52平方千米，总人口220919人。辖2镇、13乡：固玛镇、杜瓦镇、阔什塔格乡、科克铁热克乡、桑株乡、木吉乡、木奎拉乡、藏桂乡、皮西那乡、皮亚勒玛乡、巴什兰干乡、克里阳乡、乔达乡、垴阿巴提塔吉克族乡、康克尔柯尔克孜族乡。县政府驻固玛镇。
2010年5月，自治区政府批准设立赛图拉镇。
2010年第六次人口普查，皮山县常住总人口258210人，其中：街道办事处18424人，固玛镇28163人，杜瓦镇8631人，县直辖村镇1199人，阔什塔格乡15200人，克里阳乡6414人，科克铁热克乡35414人，桑株乡30906人，木吉乡23273人，乔达乡12450人，木奎拉乡19591人，藏桂乡13727人，皮亚勒玛乡6094人，皮西那乡7496人，巴什兰干乡4862人，瑙阿巴提塔吉克民族乡932人，康克尔柯尔克孜民族乡1902人，国营牧场1005人，兵团皮山农场22527人。
2012年，自治区政府（新政函[2012]364号）批准撤销木吉乡，设立木吉镇（2013年实施，皮政发[2013]8号）。调整后，全县辖4个镇、12个乡（其中2个民族乡）：固玛镇、杜瓦镇、赛图拉镇、木吉镇、阔什塔格乡、克里阳乡、科克铁热克乡、桑株乡、乔达乡、木奎拉乡、藏桂乡、皮亚勒玛乡、皮西那乡、巴什兰干乡、垴阿巴提塔吉克族乡、康克尔柯尔克孜族乡。