青河县因青格里河而得名。青格里系蒙古语，意为美丽清澈的河流。秦汉时期属匈奴游牧地，唐属北庭都护府，元是窝阔台汗国的游牧地，清代为阿尔泰乌梁海蒙古右翼游牧地。光绪三十二年（1906年）属阿尔泰办事大臣管辖。1919年属阿山道，同年置布尔根河设治局，次年改设县佐。1922年设察汉郭勒县佐，1937年置青格里河设治局，布尔根河并入青格里河设治局。1941年升为县，称青河县。先后隶属阿山行政区、阿山专区、阿勒泰专区。1970年属阿勒泰地区。
1981年设青河镇。
1997年，青河县面积15579.5平方千米，人口6.2万，其中哈萨克族占75.2%。辖1个镇、5个乡：青河镇、阿热勒托别乡、阿热勒乡、萨尔托海乡、阿尕什敖包乡、查干郭勒乡。县政府驻青河镇。
2000年第五次人口普查，青河县常住总人口53843人，其中：青河镇11878人、塔克什肯镇3566人、阿热勒乡13443人、阿热勒托别乡 9140人、萨尔托海乡4658人、查干郭勒乡6200人、阿尕什敖包乡4187人、兵团青河独立营771人。
2003年，青河县总面积15790.36平方千米，总人口55096人，其中哈萨克族占占总人口的76%，汉族占18%。辖2个镇、5个乡：青河镇、塔克什肯镇、查干郭勒乡、萨尔托海乡、阿热勒乡、阿尕什敖包乡、阿热勒托别乡。县政府驻青河镇。
2010年第六次人口普查，青河县常住总人口58858人，其中：青河镇16098人，塔克什肯镇3867人，阿热勒乡12641人，阿热勒托别乡9830人，萨尔托海乡5138人，查干郭勒乡6549人，阿尕什敖包乡4735人。
2012年，撤销阿热勒托别乡，设立阿热勒托别镇（新政函[2012]29号）。调整后，全县辖3个镇、4个乡：青河镇、塔克什肯镇、阿热勒托别镇、阿热勒乡、萨尔托海乡、查干郭勒乡、阿尕什敖包乡。