绥化市原名“北团林子”，1885年（清光绪十一年），设置厅治时取名“绥化”。“绥化”一名的含义，一说“绥化”系指绥楞阁山（又名绥林阁山），二说“绥化”意为“吉祥、安顺”，三说“绥化”是满语，意为“艾蒿”。汉晋属北夫余，隋唐属黑水靺鞨，辽属东京道，金属上京会宁府，元属辽阳行省开元路，明属奴儿干都司，清为呼兰城守尉管辖。【另有：绥化之称是统治者为了能使此地安抚，百姓归服于王化所启用的名称。“绥”即“绥靖、安抚”，“化”为“教化”的意思。】
1885年5月17日（光绪十一年四月初四日），黑龙江将军奏准，于呼兰北境北团林子（今绥化市区）设置绥化厅，并于于清街设立余庆分防经历。隶属呼兰副都统。首任绥化厅通判于翌年3月24日（光绪十二年二月十九日）到职任事。1887年（光绪十三年），划分城基，筑土为墙，设有四门。1905年1月29日（光绪三十年十二月二十日），奉批照准，绥化厅升改为绥化府。同年9月15日（农历八月十七日），知府启用关防，驻绥化城。隶属绥兰海兵备道。
中华民国成立后，隶属黑龙江省。1913年1月23日，黑龙江省都督府按各府、厅、州一律改县的规定，令将绥化府改为绥化县。县署驻绥化城。1914年6月，隶属绥兰道。1929年2月，撤销道制，由黑龙江省直辖。时为一等县。东北沦陷后，初由黑龙江省管辖，1934年12月划归滨江省管辖。1939年6月，改隶新增设之北安省。伪县公署驻绥化街。1945年“九三”抗日战争胜利后，隶属黑龙江省管辖。
1946年10月，黑龙江省政府决定，将东部地区划出设置绥东县（县政府驻双河镇）。1947年2月，绥化、绥东2县归黑嫩联合省管辖。同年6月19日，撤销绥东县，并入绥化县；9月，黑嫩联合省分开后，绥化县仍由黑龙江省管辖。1956年3月，划归新设之绥化专区管辖，绥化专署驻绥化镇。1958年8月，改隶松花江专区。1965年6月，改由绥化专区管辖。1982年12月18日，国务院批准，撤销绥化县，设立绥化市（县级），以原绥化县的行政区域为绥化市的行政区域，隶属绥化地区。设市后，撤销绥化镇和城郊公社，分设6个街道办事处。
1992年末，绥化市位于黑龙江省中部，松嫩平原北部。北与绥棱县、海伦市为邻，东与庆安县毗连，南与巴彦县和呼兰县接壤，西南与兰西县交界，西与望奎县以河为界。为绥化地区行政公署驻地。全市总面积2723平方千米，建成区面积23平方千米。总人口78.2万人，其中非农业人口23.3万人；满、朝鲜、回等少数民族人口约占总人口的7.3%。辖6个街道、12个镇、13个乡，其中满族乡（镇）3个、朝鲜族乡1个。市政府驻地市区北二条路路北。（以上摘自《黑龙江省志·地名录》，有改动）
1999年12月28日，国务院批准（国函[1999]154号）：（1）撤销绥化地区和县级绥化市，设立地级绥化市。市人民政府驻新设立的北林区。（2）绥化市设立北林区，以原县级绥化市的行政区域为北林区的行政区域。区人民政府驻北二西路。
2000年第五次人口普查，全区总人口800207人，其中：紫来街道37325人，爱路街道33216人，大有街道88645人，吉泰街道75898人，东兴街道19746人，北林街道12810人，宝山镇32420人，绥胜镇22744人，西长发镇41569人，永安镇25380人，太平川镇25008人，津河镇18526人，利民镇17616人，四方台镇27594人，张维镇18406人，秦家镇31381人，双河镇22228人，三河镇25832人，连岗乡23353人，红旗乡16633人，新华乡29112人，兴福乡21149人，东富乡32351人，隆太乡12824人，东津乡10908人，民吉乡16685人，三井乡13469人，新生乡10695人，联合乡12052人，五营乡21443人，兴和乡3189人。
全区现辖6个街道、12个镇、6个乡、2个民族乡：紫来街道、爱路街道、大有街道、吉泰街道、东兴街道、北林街道、宝山镇、绥胜镇、西长发镇、永安镇、太平川镇、秦家镇、双河镇、三河镇、四方台镇、津河镇、张维镇、东津镇、红旗满族乡、连岗乡、新华乡、兴福乡、东富乡、三井乡、五营乡、兴和朝鲜族乡。