1919年置墨玉县，因喀拉喀什河而得名。喀拉喀什系维吾尔语，黑玉、墨玉之意。《钦定皇舆西域图志》作哈喇哈什，《新疆识略》作哈拉哈什。《西域同文志》释：“哈喇，黑色，河中多产黑玉，故名。”
自西汉以来均属古于阗。乾隆二十七年（1862年）设喀什噶尔参赞大臣一员总理南疆八城，和田是八城之一，喀拉喀什是和田的属城。光绪九年（1883年）设和阗直隶州，喀拉喀什隶和阗直隶州。民国2年（1913年）和阗直隶州本州改置和阗县，含今和田、墨玉两县一市范围。1919年从喀拉喀什河以西析置墨玉县，喀拉喀什为县治。隶喀什噶尔道。1920年改隶和阗道，后属和阗行政区。1950年属和阗专区，1977年属和田地区。
1996年，墨玉县辖1个镇、15个乡：喀拉喀什镇、托胡拉乡、扎瓦乡、阿克萨拉依乡、加汗巴格乡、萨依巴格乡、乌尔其乡、芒来乡、普恰克其乡、阔依其乡、奎牙乡、雅瓦乡、喀尔赛乡、吐外特乡、英也尔乡、喀瓦克乡、吐孜鲁克奥塔克乡。
2000年第五次人口普查，墨玉县常住总人口405634人，其中：喀拉卡什镇46520人、喀尔赛乡34276人、奎牙乡36113人、扎瓦乡43746人、阿克萨拉依乡23176人、乌尔其乡13995人、托胡拉乡16871人、萨依巴格乡27620人、加汗巴格乡21038人、普恰克其乡28482人、芒来乡19191人、阔依其乡21619人、雅瓦乡27959人、吐外特乡21231人、英也尔乡10216人、喀瓦克乡 9736人、兵团47团场3845人。
2003年，全县总面积25788.86平方千米，总人口429160人。辖1个镇、15个乡：喀拉喀什镇、托胡拉乡、加汗巴格乡、阿克萨拉依乡、扎瓦乡、萨依巴格乡、乌尔其乡、奎牙乡、雅瓦乡、喀尔赛乡、芒来乡、普恰克其乡、阔依其乡、吐外特乡、英也尔乡、喀瓦克乡。县政府驻喀拉喀什镇。
2010年第六次人口普查，墨玉县常住总人口500114人，其中：喀拉喀什镇31332人，喀尔塞乡40892人，奎牙乡43212人，扎瓦乡52165人，阿克萨拉依乡27352人，乌尔其乡16400人，托胡拉乡18800人，萨依巴格乡32355人，加汗巴格乡24524人，普恰克其乡35142人，芒来乡23408人，阔依其乡26346人，雅瓦乡33949人，吐外特乡24685人，英也尔乡11485人，瓦克乡10992人，其尼巴格街道13810人，波斯坦街道11877人，斯孜街道9522人，兵团四十七团3699人，兵团二二四团8167人。
2012年，自治区政府（新政函[2012]28号）批准同意撤销扎瓦乡，设立扎瓦镇。2013年，自治区政府（新政函[2013]140号）批准同意撤销奎牙乡，设立奎牙镇。
2014年2月13日，喀尔赛乡正式撤乡建镇。调整后，全县辖4个镇、12个乡：喀拉卡什镇、扎瓦镇、奎牙镇、喀尔赛镇、阿克萨拉依乡、乌尔其乡、托胡拉乡、萨依巴格乡、加汗巴格乡、普恰克其乡、芒来乡、阔依其乡、雅瓦乡、吐外特乡、英也尔乡、喀瓦克乡。