哈尔滨地名的由来，据有关资料记载，有如下几种说法。《哈尔滨考》考证：“哈尔滨”是女真语“阿勒锦”一词的译转，是“荣誉”的意思；《满州地名考》记载：据说沙俄设置哈尔滨市街建设局时，曾经对地名的设置花费了很多的脑筋，巡视了松花江沿岸的一些小村落，，并向当地人寻问了地名，当地人称此地为哈欧滨。同时沙俄也曾设想了许多名称，但都未采用。最后取名为哈鲁滨。1900年制作的地图上就出现了“哈鲁滨市街”的名称。“哈鲁滨”系满语“鱼网”的意思。据说很早以前这一带是满人的一个较大的捕鱼区，汉人称之为晒网场。后哈鲁滨音讹为哈尔滨；又有些资料记载：昔日此地是松花江岸的一片草原地带，蒙人以此地草甸平坦，遥望如哈喇，故称哈喇滨，后音讹哈尔滨。
西周时期属肃慎地；公元三世纪为挹娄属地；南北朝时为勿吉地；隋唐时期归靺鞨。宋代为女真族完颜部的属地，当时将这里命名为阿勒锦村。清初属阿拉楚喀（阿城）副都统管辖，有许多满汉农民在此耕作。清代中后期，自嘉庆以后，随着“京旗移垦”以及此后的开禁放垦政策的实行，到了十八世纪末，在哈尔滨地区已建立了更多的满族移民和汉族垦民的村落，有许多满、汉族人民在这里从事耕种和渔业，故此地曾有“鱼村”之称。光绪二十二年（1897年）六月三日由于清政府的腐败，签订了不平等的《中俄密约》，使沙俄获得了东清铁路的修筑权。光绪二十三年（1896年）八月在东清铁路修筑的同时，于旧哈尔滨（土名香房，当时主要是俄国人居住的地方）设置监督所。
翌年五月沙俄最后确定以哈尔滨为东清铁路的修筑中心，于是开始了都市的建设。1900年开始在新市街（当时土名秦家岗）进行施工建筑，之后，将沙俄设置的各种行政机构迁移此处。同年，我国人民为了反抗沙俄的侵略，摧毁了沙俄的铁路以及建筑，使沙俄苦心经营的成就与建筑化为无有。1901年沙俄要求清政府进行赔偿，重新复兴原状。1903年松花江岸的部分地方也被沙俄侵占，变成沙俄铁道的附属地，属东支铁道长官所管辖。1918年十月革命以后，沙皇俄国的努力逐渐消退，但这一时期的哈尔滨仍为沙俄残余势力蹂躏时期，但此时中国开始陆续收回了沙俄时期一些特权。
1920年收回铁路界内的司法权，同时由司法部将中东铁路用地划作了东省的特别区（包括哈尔滨东至绥芬河，西至满州里、南至长春宽城子）。全区域共分五个区，每区各设总署分署及派公所分驻所，哈尔滨为第一区。1922年12月8日，北京政府公布“东省特别区行政长官办事条例大纲”，于哈尔滨设行政长官公署。1926年3月30日东省特别区行政长官下令解散白俄霸占的市公议会及董事会，所有卷宗、票照及市有财产线由市政管理局接收。至此，被沙俄及其残余侵占达二十八年之久的哈尔滨行政权全部收回。1932年3月伪满洲国成立，同年7月11日便成立了“哈尔滨市政筹备所”。1933年7月1日，成立哈尔滨特别市，属于伪中央直辖市。1937年7月1日，伪市制改革废除了特别市。变哈尔滨为伪滨江省的直辖市，并为滨江省公署所在地。
1946年4月28日，哈尔滨解放，成立哈尔滨特别市政府。1948年4月21日，哈尔滨市改为省辖市，为松江省省会。1952年7月18日，哈尔滨市改为中央直辖市（由东北人民政府代管）（一说：1953年哈尔滨市改为中央直辖市，由东北行政委员会代管）。1954年6月19日，松江省与黑龙江省合并，哈尔滨市改为黑龙江省省辖市，为黑龙江省省会。
1956年10月，将东、西傅家区合并为道外区；撤销天恒区，并入朝阳区；撤销顾乡区，并入道里区；平房区改为城区；全市共划为道外、道里、南岗、香坊、太平、平房6个市区和朝阳、王岗、松浦3个郊区。1958年，哈尔滨市市郊属的14个乡改为农村人民公社。8月25日，原由省直辖的宾县（驻宾州镇）、阿城、肇东3县及原绥化专区所属呼兰县划归哈尔滨市管辖。9月27日，建立了城市区级香坊人民公社、机电人民公社。同年设立松花江专区，专署驻哈尔滨市，原绥化专区所属绥化、望奎（驻双龙镇）、绥棱、海伦、庆安（铁力县撤销并入）、通河、木兰、兰西、巴彦等9县和原由省直辖的伊春市及五常、双城、肇源、肇州4县划归松花江专区，辖1市、13县。
1960年5月12日，原属松花江专区领导的通河、木兰、巴彦、五常、双城5县划归哈尔滨市领导；原由哈尔滨市领导的肇东县及原嫩江专区所属青冈、明水2县划归松花江专区；设立安达市，属松花江专区；哈尔滨市共辖阿城、宾县、呼兰、双城、五常、巴彦、木兰、通河8个县，松花江专区辖2市、11县。1962年恢复铁力县，松花江专区辖2市、12县。1964年伊春市改由省直辖，松花江专区辖1市、12县。1965年安达市改由省直辖，原松花江专区改名为绥化专区。同年10月14日，由哈尔滨市所属宾县（驻宾州镇）、阿城、呼兰、通河、五常、木兰、双城、巴彦等8县设松花江专区，专署驻哈尔滨市。1970年松花江专区改称松花江地区，原属牡丹江地区的尚志、方正、延寿3县划入松花江地区，辖11县。
“文化大革命”时期，“哈尔滨市人民公社”取代了哈尔滨市人民委员会，1967年4月，撤销哈尔滨市人民公社，成立哈尔滨市革命委员会；平房区改为“新曙光”（区）人民公社革命委员会，接着，各区相继成立区级人民公社革命委员会。1979年9月-11月，市革命委员会先后撤销区革命委员会名称，恢复了各区人民政府称谓。1980年1月5日-11日，召开哈尔滨市第七届人民代表大会第一次会议，决定将哈尔滨市革命委员会改称哈尔滨市人民政府，并先后撤销市区各城市人民公社分社名称，恢复街道办事处称谓。1984年1月20日，除太平区团结公社外，郊区21个农村人民公社实行政社分开，撤销人民公社，建立21个乡政府。1987年5月，市区88个街道办事处调整为83个，辖区人口在两万人以上的62个街道办事处晋升为处级建制。
1983年9月3日，国务院批准将松花江地区呼兰、阿城二县划归哈尔滨市管辖（10月18日正式实施）。1987年2月24日，经国务院批准（国函[1987]85号）撤销阿城县，设立阿城市（县级），以原阿城县的行政区域为阿城市的行政区域。1988年9月14日，民政部批准（民[1988]行批30号）撤销双城县，设立双城市（县级），以原双城县的行政区域为双城市的行政区域。1988年11月17日，国务院批准撤销尚志县，设立尚志市。1991年2月2日，国务院批准（国函[1991]4号）将松花江地区的方正县、宾县和佳木斯市的依兰县划归哈尔滨市。哈尔滨市的行政管辖区域从7区1县1市扩大到7区4县1市（县级）。1993年6月1日，民政部批复（民行批[1993]117号）撤销五常县，设立五常市。
1996年8月11日，经国务院批准（国函[1996]64号），松花江地区和哈尔滨市合并，组建新的地级哈尔滨市。新的哈尔滨市辖原哈尔滨市的呼兰县、方正县、宾县、依兰县和道里区、南岗区、动力区、平房区、香坊区、太平区、道外区，原松花江地区的延寿县、木兰县、巴彦县、通河县。原哈尔滨市代管的阿城市和原松花江地区的尚志市、双城市、五常市由省直辖，委托哈尔滨市代管。合并后的新哈尔滨市辖7区12县（市），265个乡镇、89个街道，1541个居委会、3532个村委会。
2000年第五次全国人口普查，哈尔滨市总人口9413359人。其中：道里区748313人、南岗区977432人、道外区383718人、太平区421806人、香坊区367382人、动力区410842人、平房区172011人、呼兰县632204人、依兰县364108人、方正县225513人、宾县538710人、巴彦县611556人、木兰县258972人、通河县203515人、延寿县237655人、阿城市638894人、双城市749182人、尚志市582764人、五常市888782人。
2004年2月4日，国务院批准（国函[2004]10号），调整哈尔滨市部分行政区划：（1）撤销哈尔滨市太平区，将其行政区域划归哈尔滨市道外区管辖。道外区人民政府驻北十四道街。（2）哈尔滨市设立松北区，辖原属道外区的松北、松浦、万宝3个镇，太阳岛、三电2个街道，以及原属呼兰县的乐业、对青山2个镇。松北区人民政府驻松北镇松北一路。（3）撤销呼兰县，设立哈尔滨市呼兰区。以原呼兰县的行政区域（不含乐业、对青山2个镇）为呼兰区的行政区域。区人民政府驻呼兰镇南京路。区划调整后，哈尔滨市辖8区11县市，总面积5.3万平方千米，市区面积由原来的1660.25平方千米，增加到4272平方千米，总人口954万人，市区总人口由过去的315.2万人增加到380万人。
2004年9月23日，国务院批准（国函[2004]80号）：哈尔滨市人民政府驻地由道里区石头道街迁至松北区世纪大道（2004年11月1日黑龙江省人民政府黑政发[2004]83号文件批准）。原市政府驻地石头道街107号，邮编150010。
2006年8月15日，《国务院关于同意黑龙江省调整哈尔滨市部分行政区划的批复》（国函[2006]73号）：（1）同意撤销哈尔滨市动力区、香坊区，组建新的香坊区。以原动力区和香坊区的行政区域为新设香坊区的行政区域。香坊区人民政府驻香坊大街。（2）将阿城市永源镇、巨源镇划归哈尔滨市道外区管辖。（3）撤销阿城市，设立哈尔滨市阿城区。以原阿城市（不包括永源镇、巨源镇）的行政区域为阿城区的行政区域。阿城区人民政府驻民权大街。8月28日，省政府下发了《黑龙江省人民政府转发国务院关于同意黑龙江省调整哈尔滨市部分行政区划批复的通知》。哈尔滨市行政区划由原来的8区、11县（市）调整为8区、10县（市），市区面积由4272平方千米增加到7086平方千米，市区人口由398.96万人增加到464.24万人。
2010年第六次人口普查，哈尔滨市常住总人口10635971人，其中：道里区923762人，南岗区1343857人，道外区906421人，平房区190253人，松北区236848人，香坊区916408人，呼兰区764534人，阿城区596856人，依兰县388319人，方正县203853人，宾县551271人，巴彦县590555人，木兰县277685人，通河县210650人，延寿县242455人，双城市825634人，尚志市585386人，五常市881224人。
2014年，《国务院关于同意黑龙江省调整哈尔滨市部分行政区划的批复》（国函[2014]55号）：同意撤销县级双城市，设立哈尔滨市双城区，以原双城市的行政区域为双城区的行政区域，双城区人民政府驻双城镇新兴大街99号。