阿克苏系维吾尔语，意为“清澈的水”。汉代，这里为姑墨国地。隋唐时期，为跋禄迦，亦称亟墨，唐高宗显庆三年（658年）置姑墨州，隶属安西都护府。宋时为西辽所辖。元明为蒙古宗王察合台封地，称为阿速。清乾隆二十二年（1757年）清政府派军平定准噶尔叛乱，将地名定为阿克苏。乾隆二十三年（1758年）在此设阿克苏办事大臣。光绪三年（1877年）在阿克苏设善后总局。
光绪八年以东四城（焉耆、库车、阿克苏、乌什）置阿克苏分巡兵备道，以阿克苏置温宿直隶州。光绪九年（1883年）完成建州工作并修建阿克苏新城，亦称汉称，新城为阿克苏道和温宿直隶州治所。光绪二十八年（1902年）升温宿直隶州为府，市境为温宿府直辖。本府即今阿克苏市和阿瓦提县的范围。民国二年（1913年）4月，温宿府本府改置阿克苏县，属阿克苏道。
1949年后，隶属阿克苏专区、阿克苏地区。1956年将原县辖丙等市阿克苏市改设为阿克苏镇。1958年5月撤销温宿县，其行政区域并入阿克苏县。1962年恢复温宿县建制，将1958年合并于阿克苏县的原温宿县的行政区域从阿克苏县划出，归温宿县管辖。1983年8月19日，经国务院批准，撤销阿克苏县，设立阿克苏市（县级）。1984年5月7日，阿克苏市人民政府挂牌成立。
1984年7月18日，撤销阿克苏镇，将原镇属的4个街道办事处升格为乡建置。1999年城区增设南城街道。
2000年第五次人口普查，阿克苏市常住总人口561822人，其中：兰干街道47179人、英巴扎街道31687人、红桥街道21849人、新城街道57031人、南城街道27086人、喀拉塔勒镇34277人、阿依库勒镇33822人、依干其乡29608人、拜什吐格曼乡21006人、托普鲁克乡13093人、库木巴什乡18975人、托喀依乡3337人、林园8492人、兵团阿拉尔局17884人、良种繁育场4271人、红旗坡农场17503人、兵团一团23049人、兵团二团11503人、兵团七团13025人、兵团八团11160人、兵团九团20958人、兵团十团12417人、兵团十一团11479人、兵团十二团19722人、兵团十三团14341人、兵团十四团13511人、兵团十五团9885人、兵团十六团13672人。
2003年，阿克苏市总面积14449.77平方千米，总人口572694人，其中少数民族约占总人口的45％，辖5街道、2镇、4乡：兰干街道、英巴扎街道、红桥街道、新城街道、南城街道、喀拉塔勒镇、阿依库勒镇；依干其乡、拜什吐格曼乡、托普鲁克乡、库木巴什乡。市政府驻市区西大街。
2010年第六次人口普查，阿克苏市常住总人口535657人，其中：栏杆街道71746人，英巴扎街道43346人，红桥街道31228人，新城街道87368人，南城街道37766人，喀勒塔勒镇36308人，阿依库勒镇39893人，依干其乡40737人，拜什吐格曼乡23798人，托普鲁克乡14587人，库木巴希乡21075人，良种场5375人，红旗坡农场21228人，实验林场20161人，兵团一团21970人，兵团二团9542人，西工业园区管理委员会7480人，兵团农一师沙井子水利管理处2049人。
2012年2月6日，柯柯牙街道办事处正式挂牌成立。2013年1月23日，自治区政府（新政函[2013]17号）批复同意将阿克苏市802.733平方千米区域划归阿拉尔市管辖。2014年11月14日，自治区政府同意将现英巴扎街道管辖的英巴格社区、林园社区以及阿依库勒镇部分区域划入设立多浪街道，街道办事处驻现英巴格社区居委会办公楼。
调整后，全市辖7个街道、2个镇、4个乡：兰干街道、英巴扎街道、红桥街道、新城街道、南城街道、柯柯牙街道、多浪街道、喀勒塔勒镇、阿依库勒镇、依干其乡、拜什吐格曼乡、托普鲁克乡、库木巴希乡。