二百多年前，人们就利用沟中水流开设了水磨，因而得名水磨沟。原属迪化县，1944年划归迪化市管辖。1949年属第五区，1956年属工矿区。1961年，水磨沟工矿区和八道湾镇合并成立水磨沟区【一说，1956年为第四区，1960年与八道湾镇合并为水磨沟工矿区，1960年成立景泉公社，1968年更名水磨沟区】。
1996年，水磨沟区辖6个街道：水磨沟街道、南湖街道、六道湾街道、新民路街道、苇湖梁街道、八道湾街道。
2000年第五次人口普查，水磨沟区常住总人口180654人，其中：水磨沟街道35629人、六道湾街道38612人、苇湖梁街道19491人、八道湾街道5226人、新民路街道58284人、南湖街道23412人。
2003年末，水磨沟区总面积91.56平方千米，总人口163945人。辖7个街道、1个乡：新民路街道、水磨沟街道、六道湾街道、苇湖梁街道、八道湾街道、南湖南路街道、南湖北路街道、七道湾乡。共有59个居委会、8个行政村。区政府驻温泉路68号。
2004年末，水磨沟区辖7个街道、1个乡：水磨沟街道、六道湾街道、八道湾街道、苇湖梁街道、新民路街道、南湖南路街道、南湖北路街道、七道湾乡。共有64个居委会、3个行政村。
2007年1月12日，正式撤销七道湾乡，设立七道湾街道。2007年10月，乌鲁木齐市政府决定将原东山区芦草沟乡的葛家沟村、石仁子沟村和涝坝沟村整建制划归水磨沟区管辖；水磨沟区面积增加了186平方千米；同时将3个村与原有“水磨沟风景名胜区管理委员会办公室”进行整合，成立“水磨沟旅游风景区管理委员会”，辖区面积含移交的3个村、水磨沟村、风景区，共246平方千米。
2010年第六次人口普查，水磨沟区常住总人口390943人，其中：水磨沟街道48544人，六道湾街道77454人，苇湖梁街道43730人，八道湾街道3326人，新民路街道66592人，南湖南路街道77316人，南湖北路街道40899人，七道湾街道30358人，水磨沟区农村事务管理办公室2724人。
2013年，乌鲁木齐市政府（乌政办[2013]568号）批准同意水磨沟区设立榆树沟街道、石人子沟街道。调整后，全区辖10个街道。