黑河市，原称“大黑河屯”。“大黑河屯”是区别“小黑河屯”的称呼。“黑河”名称的由来，一说因其濒临黑龙江，黑龙江又名“黑水”，亦称“黑河”；一说蒙古语“安巴萨哈连”，意为“大黑河”。黑河市由爱辉县演变而来。爱辉，原称“瑷珲”，取名于瑷珲河，亦作“艾浑”、“艾浒”、“爱呼”等。“瑷珲”为达斡尔语，意为“可畏”。1956年为更改生僻字地名，将“瑷珲”改为“爱辉”。
黑河一带，唐分属室韦都督府和黑水都督府，辽属东京道室韦部，金归蒲峪路管辖，元属开元路，明归奴儿干都司，清属黑龙江将军管辖。1685年（清康熙二十四年），黑龙江将军衙门由江东旧瑷珲城迁往江西新建瑷珲城（亦称黑龙江城，今黑河市爱辉镇）。1690年（清康熙二十九年），黑龙江将军迁往墨尔根城（今嫩江县城），留副都统一员驻守。1908年8月5日（清光绪三十四年七月初九日），裁撤副都统，设置瑷珲兵备道，同时于瑷珲城设置瑷珲直隶厅，于大黑河屯设置黑河府，同属瑷珲道管辖。
中华民国成立后，1912年6月26日，因黑龙江省财政异常困难，决定裁撤黑河府，并入瑷珲直隶厅；瑷珲道移驻大黑河，改称黑河道。1913年1月23日，黑龙江省都督府令，将瑷珲直隶厅改为瑷珲县，驻瑷珲城，隶属黑河道。1929年2月，裁撤黑河道，瑷珲县隶属黑河市政筹备处。东北沦陷后，1933年5月，撤销黑河市政筹备处。同年9月，伪瑷珲县公署迁驻黑河。1934年12月，伪满于黑河设置黑河省，瑷珲县改归黑河省管辖。
1945年“九三”抗日战争胜利后，瑷珲县划归黑龙江省管辖。同年11月，成立黑河地区行政办事处，瑷珲县归黑河地区管辖。1947年2月，黑嫩联合省成立后，归第五专区管辖；同年9月黑嫩省分开，第五专区恢复为黑河专区，仍隶黑河专区。1956年12月11日，国务院批准，为更改生僻字地名，将瑷珲县改为爱辉县。1959年将西南部的霍龙门乡划归嫩江县。
1980年11月15日，国务院批准，设立黑河市（县级），以原爱辉县的黑河镇、幸福公社和西岗子公社的西岗子煤矿、宋集屯煤矿、东方红煤矿的行政区域为黑河市的行政区域。隶属黑河地区。1983年4月28日，国务院批准，撤销爱辉县，并入黑河市。
1992年末，黑河市位于黑龙江省北部，黑龙江上游右岸。北与呼玛县为邻，西与嫩江县毗连，南与孙吴县接壤，东以黑龙江为界与俄罗斯布拉戈维申斯克市（海兰泡）隔江相望。全市总面积13994平方千米。总人口15.89万人，其中非农业人口9.27万人；满、达斡尔、蒙古、朝鲜、鄂伦春等少数民族人口约占9%。辖4个街道和12个乡镇。市政府驻地市区中央街路南。（以上摘自《黑龙江省志·地名录》，有改动）
1993年2月8日，国务院批准（国函[1993]12号）：撤销黑河地区，设立黑河市（地级）；撤销黑河市，设立黑河市爱辉区，新设的黑河市和爱辉区人民政府均驻原黑河市市区内。
2000年，爱辉区辖4个街道、3个镇、10个乡：海兰街道、花园街道、兴安街道、西兴街道、爱辉镇、西岗子镇、罕达汽镇、幸福乡、张地营子乡、二站乡、北师河乡、新生鄂伦春族乡、四嘉子满族乡、坤河达斡尔族、满族乡、上马厂乡、西峰山乡。
2000年第五次人口普查，爱辉区总人口192764人，其中：花园街道39107人，兴安街道28225人，海兰街道21043人，西兴街道24329人，西岗子镇13145人，爱辉镇8842人，罕达汽镇4801人，幸福乡16067人，四嘉子满族乡4734人，二站乡3007人，金水乡3035人，张地营子乡5433人，北师河乡1170人，西峰山乡2634人，新生鄂伦春族乡1504人，坤河达斡尔满族乡2509人，上马厂乡4524人，锦河农场8655人。
2008年9月1日，黑龙江省民政厅批复，同意黑河市爱辉区罕达汽镇政府驻地由罕达汽村迁移至红旗村。
爱辉区现辖4个街道、3个镇、8个乡（其中3个民族乡）：花园街道、兴安街道、海兰街道、西兴街道、西岗子镇、爱辉镇、罕达汽镇、幸福乡、四嘉子满族乡、坤河达斡尔族满族乡、上马厂乡、张地营子乡、西峰山乡、新生鄂伦春族乡、二站乡。
瑷珲地名系满语“可畏”之意，一名艾浑、爱呼、艾浒。以境内的艾虎河（一名鼎河，今苏联境内的藏嘎河）故名。此地远在周以前为肃慎地；汉至三国时期为挹娄地；晋时入寇漫汗；后魏、北齐属豆莫娄国；隋时分属靺鞨黑水及北室韦地；唐同之；五代至辽属五国部；金为扶余路的辖境；元时为斡赤斤分地，后属开元路；明时在此设置考郎兀、忽里吉山、巴忽鲁等卫。
清康熙二十二年（1683年）为抗击沙皇俄国的入侵，于黑龙江左岸（今苏联境内的维笑勒依村）设置镇守黑龙江等处的将军，筑城驻兵，任命抗俄名将萨布素为第一任黑龙江将军。康熙二十四年（1685年）黑龙江将军移驻江右岸的达呼尔族城堡一托尔加城（今爱珲公社）并称此地为新爱珲城，又名黑龙江城，将军及副都统均移驻新爱珲城。而江左岸的城堡称旧爱珲，设城守尉镇守，康熙二十九年（1690年）根据将军萨布素关于墨尔根“首尾易制”的奏请，黑龙江将军驻地移至墨尔根城，黑龙江城由城守尉驻守。
庚子事变后，暧珲、黑河及黑龙江右岸的各都市均为俄军占领。光绪三十二年（1906年），归还后，清政府复设瑷珲副都统，同时又设置了兴东道，二者以逊河为界。同年在黑河设交涉局，光绪三十四年（1908年）撤消交涉局，并于此地设置黑河副部统府，黑河副都统府设立后的第二年，即宣统元年（1909年）撤消瑷珲副部统府。以兵备道代之，道台驻瑷珲，与此同时设置瑷珲厅。
民国元年（1912年）黑河副都统府撤消，所管事务均移交瑷珲厅及兵备道管理，同年改兵备道为观察使，并移驻黑河。民国二年（1913年）改接泽厅为瑷珲县，此后观察使改为道尹，称之为黑河道尹，瑷珲县为黑河道所辖。民国十八年（1929年）东北政务委员会成立，废道制，县归省直辖，本县直隶黑龙江省为一等县。伪满大同二年（1933年）县公署由瑷珲移驻大黑河。康德元年（1934年）十二月一日，伪满洲国改行帝制，实行地方行政机构改革，成立黑河管公署，此地为黑河省省会所在地。民国三十四年（1945年）东北光复，民国三十六年（1947年），将伪北安，黑河二省合并为黑龙江省，本县划归黑龙江省所辖。
1949年建国后，全县划为黑河城区、爱辉区、四嘉子区、西岗子区、张地营子区、罕达汽区、霍龙门区，共7个行政区，辖8个街、28个行政村、137个自然屯。1950年，将霍龙门区并入罕达汽区，全县由原来7个行政区变为6个行政区，共辖48个行政村。
1956年4月，实行撤区划乡，撤销原来的四嘉子、爱辉、西岗子、张地营子的区级机构。因黑河镇人口多，对私营工商业改造任务繁重，罕达汽地处山区，乡村分散，又是新区，所以仍保留黑河镇区和罕达汽区（撤区划分乡后的行政区划见《爱辉县志》相关表格）。1957年区、乡又有所变化（具体见《爱辉县志》相关表格）。
1958年，人民公社的建立，实行了乡社合一，它既是行政单位又是经济单位。当时，全县有：黑河镇人民公社、火箭人民公社（后改称幸福人民公社）、四嘉子人民公社、爱辉人民公社、西岗子人民公社、上马厂人民公社、张地营子人民公社、罕达汽人民公社、新生人民公社。1965年5月，新建二站人民公社。1977年1月，新建西峰山人民公社。1979年9月，新建北师河人民公社。
1980年11月15日，国务院批准设立黑河市，以爱辉县的黑河镇、幸福公社和西岗子公社的西岗子煤矿、宋集屯煤矿、东方红煤矿为其行政区域。1983年4月28日，国务院批准撤销爱辉县，将该县行政区域并入黑河市。【1980年12月原爱辉县所属黑河镇、幸福公社、西岗子煤矿、东方红煤矿分出组建黑河市，1983年又撤销爱辉县并入黑河市。（根据《爱辉县志》）】