库尔勒系维吾尔语地名，意为眺望。西域图志作“库陇勒”，“回语：观望也，地形轩敞，可供眺望，故名”（《新疆图志》）。当地流传的传说中比较接近实际而又科学的讲法是：湖泊群之意。
市境大部曾属古代西域三十六国之一的渠犁国。西汉神爵年间，西域都护府在今孔雀河三角洲筑有埒娄城，有军队驻守。埒娄城后又演变为东汉的爵离城、北魏的柳驴城和元代的坤闾城。汉末为焉耆兼并。唐贞观十四年（公元640年）归焉耆都督府管辖。元属别失八里行尚书省。清光绪八年（1882年）属喀喇沙尔直隶厅，二十四年（1898年）属焉耆府。1917年设库尔勒县佐，归阿克苏道管辖。1920年属焉耆道。1930年改为设治局。1939年4月置库尔勒县，属焉耆行政区辖。
新中国成立后，库尔勒县先后成为库尔勒专署和巴音郭楞蒙古自治州党政领导机关的所在地。1950年6月成立库尔勒县人民政府。1954年6月撤销焉耆专员公署，库尔勒县归库尔勒专署管辖。1960年12月2日归巴州管辖。1979年10月成立库尔勒市，以库尔勒县的库尔勒镇、新城办事处、团结办事处和特克其公社、英下公社、卡尔巴克公社，以及焉耆县的塔什店办事处为其行政区域。1984年4月撤销库尔勒县并入库尔勒市。
1997年，库尔勒市辖6街道10乡：萨依巴格街道、塔什店街道、新城街道、团结街道、天山街道、建设路街道、铁克其乡、英下乡、恰尔巴格乡、上户乡、兰干乡、和什力克乡、托布力其乡、阿瓦提乡、哈拉玉宫乡、普惠乡。市政府驻萨依巴格街道。
2000年第五次人口普查，库尔勒市常住总人口381943人，其中（5个街道、2个镇、9个乡）：团结街道36180人、萨办街道65970人、天山街道22659人、新城街道45738人、建设路街道26998人、塔什店镇21559人、上户镇15567人、铁克其乡22930人、恰尔巴格乡21483人、英下乡10418人、兰干乡6280人、和什力克乡5484人、哈拉玉宫乡8084人、阿瓦提乡10617人、托布力其乡5361人、普惠乡5375人、库尔楚园艺场2834人、包头湖农场2153人、普惠农场5405人、阿瓦提农场2359人、沙依东园艺场6086人、兵团28团8071人、兵团29团14804人、兵团30团9527人。
2003年，库尔勒市总面积7219.48平方千米，总人口407621人，其中少数民族约占总人口30%，辖5街道、2镇、9乡：团结街道、萨依巴格街道、天山街道、新城街道、建设路街道上户镇、塔什店镇、英下乡、铁克其乡、恰尔巴格乡、普惠乡、阿瓦提乡、托布力其乡、和什力克乡、哈拉玉宫乡、兰干乡。市政府驻市区人民东路。
2009年，将尉犁县的西尼尔镇划归库尔勒市管辖。区划调整后，库尔勒市辖5个街道、3个镇、9个乡：团结街道、萨依巴格街道、天山街道、新城街道、建设路街道、上户镇、塔什店镇、西尼尔镇、铁克其乡、恰尔巴格乡、英下乡、兰干乡、和什力克乡、哈拉玉宫乡、阿瓦提乡、托布力其乡、普惠乡。
2010年第六次人口普查，库尔勒市常住总人口549324人，其中：团结街道83403人，萨依巴格街道122734人，天山街道35134人，新城街道56134人，建设街道94625人，塔什店镇12789人，上户镇14538人，西尼尔镇9444人，铁克其乡495人，恰尔巴格乡9361人，英下乡10935人，兰干乡7575人，和什力克乡5905人，哈拉玉宫乡8805人，阿瓦提乡10818人，托布力其乡6492人，普惠乡3473人，库尔楚园艺场3812人，包头湖农场2235人，普惠农场6822人，巴州阿瓦提农场3127人，巴州沙依东园艺场6757人，巴州奶牛场464人，普惠牧场1502人，经济牧场1185人，良种场516人，兵团二十九团22122人，农二师三十团8122人。