“巴音郭楞”系蒙古语，意为“美丽富饶的流域”。秦汉时期，楼兰、若羌、且末、小宛、戒卢、山国、轮台、焉耆、尉犁、渠犁、危须等十一国即在今巴州境内。西汉神爵二年（公元前60年）设西域都护府于乌垒城，巴州全境正式隶属汉朝版图。东汉永元二年（公元90年）以后形成享国达730年之久的焉耆龙氏王朝。唐显庆三年（658年）置焉耆都护府。五代至宋属西州回鹘。元时属别失八里行尚书省。
清乾隆二十三年（1758年），清朝平准噶尔丹后，将焉耆定名喀喇沙尔。乾隆二十四年（公元1759年），清朝设置喀喇沙尔办事大臣，所属焉耆及库尔勒、布古尔实行伯克制。卡墙（即今州且末县）、卡克里克（今州若羌县）隶属于阗办事大臣管辖。乾隆三十六年（公元1771年），土尔扈特及和硕特蒙部回归祖国，乌纳恩苏珠克图盟旧土尔扈特部南路四旗五十四苏木和巴图色勒图盟和硕特中路三旗十一苏木共游牧于珠勒都斯，实行札萨克制，由喀喇沙尔办事大臣兼辖，伊犁将军节制。
光绪八年（1882年）新疆建省后，设喀喇沙尔直隶厅，归阿克苏管辖。光绪二十五年（1899年），喀喇沙尔恢复原名焉耆，升焉耆为府，先后管辖新平（今尉犁）、婼羌、轮台三县，仍属阿克苏道管辖。民国二年（1913年）改焉耆府为县。民国九年（1920年）设焉耆道。民国十九年（1930年）设焉耆行政长公署。民国二十八年（1939年）置和通县及和硕设治局，库尔勒升县。同年12月改和通县为和靖县。民国三十五年（1946年），和硕升县。
1950年4月12日成立焉耆专署。1954年6月23日撤销焉耆专署，分别成立巴音郭楞蒙古自治州（辖焉耆、和硕、和靖三县，州府驻焉耆县）和库尔勒专署（辖库尔勒、尉犁、轮台、婼羌、且末五县，专署驻库尔勒）。1959年改“婼羌县”为“若羌县”。1960年12月撤库尔勒专署并入巴音郭楞蒙古自治州，州府由焉耆迁址库尔勒。1965年改“和靖县”为“和静县”。1970年4月设置博湖县。1979年10月成立库尔勒市。1984年撤库尔勒县并入库尔勒市。
2000年第五次人口普查，巴音郭楞蒙古自治州常住总人口1056970人。其中：库尔勒市381943人、轮台县91986人、尉犁县103681人、若羌县28636人、且末县55540人、焉耆县117529人、和静县161157人、和硕县62970人、博湖县53528人。
2001年底，巴州共有85个乡镇。其中乡64个，镇21个，街道办事处5个，区公所3个。全州总户数为33.22万户，总人口为106.25万人。其中：兵团人口21.23万人，占总人口的19%；农业人口为64.19万人，占总人口的60.41%，非农业人口为42.06万人，占总人口的39.59%。巴州有41个民族，少数民族人口45万人，占总人口的44.69%，人口万人以上的有蒙古、维吾尔族、汉、回等4个民族；蒙古族人口4.48万人，占总人口的4.46%，占少数民族人口的9.98%；维吾尔族人口34.3万人，占总人口的34.25%，占少数民族人口的76.63%；回族人口5.4万人，占总人口的5.38%，占少数民族人口的12.05%；其他少数民族人口0.59万人（37个民族），占总人口的0.59%，占少数民族人口1.33%。其中人员1000人以下100人以上的民族为哈萨克族、柯尔克孜族、锡伯族、俄罗斯族、满族、东乡族、壮族、藏族、瑶族、苗族、土族、土家族等12个民族。
2003年，巴州总面积472472.1平方千米，总人口1126467人。辖1市、8县，即库尔勒市、轮台县、尉犁县、若羌县、且末县、焉耆回族自治县、和静县、和硕县、博湖县。州政府驻库尔勒市。
2008年末，巴州总人口125.43万人，少数民族人口54.42万人，占全州总人口的43.4％。
2009年，自治区政府（新政函[2009]132号）批复同意将尉犁县西尼尔镇整建制划归库尔勒市管辖。
2009年末，巴州总人口129.32万人，少数民族人口56.52万人，占全州总人口的43.7%。全州辖八县一市，5个街道、24个镇、61个乡。
2010年第六次人口普查，常住总人口1278486人，其中：库尔勒市549324人，轮台县116166人，尉犁县96068人，若羌县35580人，且末县65572人，焉耆回族自治县127628人，和静县160804人，和硕县72556人，博湖县54788人。