伊犁得名于伊犁河（光明显达，形容河水在太阳照耀下碧波粼粼），最早见《汉书》，史称伊列、伊丽、伊里、亦列、益离、啼啼河等。清乾隆年间始以伊丽水定名伊犁。《西域同文志》中，伊犁为准语，取义于“犁庭扫闾”（意即将庭院犁平整用来种地，把里巷扫荡成废墟），寓意平定准噶尔功盖千秋，西陲从此永保安宁。
古代的伊犁，泛指伊犁河流域以及巴尔喀什湖以东、以南的广大地区。最早见于我国史册的伊犁民族是塞人。汉文帝后元四年（前160）由甘肃河西走廊迁入的乌孙人在伊犁建立乌孙国。后元五年臣服于汉朝，属西域都护府管辖。两汉迄晋为乌孙、匈奴领地。六世纪中叶西突厥设牙帐于伊犁，后归于唐。显庆二年（公元657年），唐朝政府命苏定方为伊丽道大总管，进军伊犁，统一了西域。其地置州、府，隶属安西都护府。长安二年（702年）改隶新设置的北庭都护府。元朝时属察合台汗国。元末明初建别失八里汗国，王都在今伊宁市附近的伊宁县境，伊犁自此成为西域的政治中心。
清初准噶尔汗建厅于此，乾隆二十五年（1760年）设伊犁参赞大臣和办事大臣；二十七年（1762年）设伊犁将军（全称“总统伊犁等处将军”），驻惠远城（今霍城县惠远），统辖天山南北各路驻防城邑及归附清朝的中亚和哈萨克族各部。阿勒泰地区直隶中央。光绪年间设伊犁府。民国6年（1917年）设伊犁道，1920年改设第二行政区，1927年设伊犁专区。
1950年设伊犁专区，专署驻伊宁县，辖伊宁（驻宁远）、绥定、霍城、温泉、博乐、精河、巩哈、新源、巩留、特克斯、昭苏、伊宁等12县。1952年由伊宁县析置伊宁市，伊犁专署驻伊宁市。1953年巩哈县改名为倪利克县。1954年原倪利克县改名为尼勒克县。1954年3月25日宁西县改称察布查尔锡伯族自治区；同年将温泉、博乐、精河3县划归博尔塔拉蒙古自治区。
1954年11月29日设立伊犁哈萨克族自治州，伊宁市改为伊犁哈萨克族自治州辖市，伊犁哈萨克族自治州辖伊犁、塔城、阿勒泰3专区。1955年撤销伊犁专区，原伊犁专区所属伊宁、绥定、霍城、新源、巩留、尼勒克、特克斯、昭苏等8县和察布查尔锡伯族自治县（原察布查尔锡伯族自治区改设）改由伊犁哈萨克族自治州直辖。1957年伊宁县驻地迁吉里圩孜。1965年绥定县改名为水定县。1966年撤销水定县，并入霍城县，霍城县迁驻水定镇。
1975年设立伊犁地区，属伊犁哈萨克自治州领导。伊犁地区驻伊宁市。原由伊犁哈萨克自治州直辖的伊宁市和伊宁（驻吉里圩孜）、尼勒克、新源、巩留、特克斯、昭苏、霍城（驻水定）等7县和察布查尔锡伯自治县划归伊犁地区。1979年，撤销伊犁地区，所属的伊宁市、伊宁县、尼勒克县、新源县、巩留县、特克斯县、昭苏县、霍城县、察布查尔锡伯自治县划归伊犁哈萨克自治州管辖。
1984年9月14日，国务院批准设立伊犁地区，辖原伊犁哈萨克自治州直辖的伊宁市、伊宁县、尼勒克县、新源县、巩留县、伊克斯县、昭苏县、霍城县、察布查尔锡伯自治县，驻地伊宁市。1985年伊犁地区正式成立。2000年第五次全国人口普查，伊犁地区总人口20825771人。其中：伊宁市357519人、伊宁县385829人、察布查尔县161834人、霍城县333013人、巩留县153100人、新源县269842人、昭苏县145027人、特克斯县133900人、尼勒克县142513人。
2001年3月26日，新疆维吾尔自治区党委和政府决定撤销伊犁地区，变动伊犁哈萨克自治州的管理体制。2001年10月6日，国务院批准撤销伊犁地区。
2003年，伊犁哈萨克自治州总面积269504.03平方千米，总人口2517274人。直辖2个县级市、7个县、1个自治县：伊宁市、奎屯市、伊宁县、察布查尔锡伯自治县、霍城县、巩留县、新源县、昭苏县、特克斯县、尼勒克县。境内驻有新疆生产建设兵团农业第四、七、八、九、十师5个师60个团场和新疆矿冶局、天西林业局、阿山林业局等单位。
2010年第六次人口普查，伊犁哈萨克自治州常住总人口2482592人，其中：伊宁市515082人，奎屯市166261人，伊宁县372590人，察布查尔锡伯自治县179744人，霍城县352689人，巩留县164860人，新源县282718人，昭苏县148187人，特克斯县142718人，尼勒克县157743人。
2014年6月26日，《国务院关于同意新疆维吾尔自治区设立县级霍尔果斯市的批复》（国函[2014]80号）同意设立县级霍尔果斯市，由伊犁哈萨克自治州管辖。霍尔果斯市人民政府驻陇海路3号。