县（市）名源于儒教“三纲五常”之“五常”，即仁、义、礼、智、信。汉晋属夫余，隋属靺鞨，唐属渤海都督府，辽属东京道阿延女真部，金属上京会宁府，元属辽阳行省开元路，明属奴儿干都司阿怜卫，清初属宁古塔将军辖区。康熙二十三年（1684年），为反击罗刹（沙俄）储备军粮，于今市境北部的拉林镇扩建官仓，俗称“拉林仓”。拉林，以拉林河得名，满语“欢喜”之意。乾隆九年（1744年），于拉林城设置拉林阿勒楚喀副都统，隶属宁古塔将军。乾隆二十六年（1761年），分设阿勒楚喀副都统，拉林、阿勒楚喀两副都统分地管辖。1769年（清乾隆三十四年），裁撤拉林副都统，改设拉林协领，隶属阿勒楚喀副都统。
咸丰年间（1851—1861年）放荒开垦，陆续建立举仁、田义、崇礼、尚智、诚信五个甲社，遂将此地概称“五常堡”。同治八年（1869年）置五常堡协领衙门，隶属吉林将军统属。光绪六年十二月二十六日（1881年1月25日），吏部转呈奏准，于五常堡南30里欢喜岭设置五常厅，并于山河屯设分防经历，于蓝彩桥设分防巡检，均归五常厅管辖。隶属吉林分巡道。自是旗民分治。光绪八年（1882年）裁去拉林协领，改设分防巡检，隶属双城厅管辖。宣统元年（1909年）将五常厅升改为五常府，隶属吉林省西北路道。
1913年3月，改五常府为五常县。1914年6月，隶属吉林省滨江道。1929年2月，裁撤道区，由吉林省直辖。是时，全县总人口22.7万人，为三等县。东北沦陷后，初隶吉林省，1934年12月划归滨江省管辖。1945年“九三”抗日战争胜利后，初隶哈南专区，后归松江省直辖。1947年1月，以五常县山河镇以南地区与舒兰县部分地区设置山河县，隶属吉北行政区；将双城县属拉林地区划出设置拉林县，县政府驻拉林镇，隶属松江省管辖。同年11月7日，东北行政委员会批准，撤销山河县，并入舒兰县；撤销拉林县，并入双城县（松江省政府因战争形势变化未予公布，并于11月28日经省政府常委会议决定，保留拉林县）。1948年6月，将原划归山河县的五常县部分地区划回五常县管辖。
1954年8月，五常县、拉林县由黑龙江省直辖。1956年3月6日，国务院批准，撤销拉林县，并入五常县。1958年8月，划归松花江专区管辖。1960年5月，划归哈尔滨市领导。1965年6月，划归新设立的松花江专区管辖。1993年6月1日，民政部批复（民行批[1993]117号）撤销五常县，设立五常市。1996年撤松花江地区，由哈尔滨市代管。
1946年解放后，五常县划分为14个乡、镇：城关镇、常堡镇、胜利镇、冲河镇、腰贡乡、房身乡、杜家乡、大房乡、安家乡、二河乡、兰桥乡、诚信乡、恒兴乡。1947年初，将14个乡、镇合并改为9个区。
1948年从吉林省舒兰县划回4个区后，五常县共有13个区，416个村，有自然屯920个：第一区（城区，五常镇）辖城东、城西2个村；第二区（杜家）辖同志、宁兴、八里甸、工农、民意、连山、半截河、永胜、福新、杏花、二道、胜果、万宝、永胜、建保15个村；第三区（兰彩桥）辖志广、生产、团结、北门、翻身、劳动、胜利、裕民、新兴、民兴、新和、群兴、东门、民和、民利、群利、长兴17个村；第四区（小山子）辖东岗、西岗、双利、新民、东北、常堡、太平、西南、青山、新立、西北、长安、四里、兴隆14个村；第五区（冲河）辖亮甸子、永安、保安、致富、八里、东门、冲河、黑河、复兴、北城、红星、教学12个村；第六区（卫国）辖三道河子、四道河子、保家、东安、西安、靠河、中发、永兴、六合、友好、卫国11个村；第七区（常堡）辖头道河、中华、烧锅、福兴、二道岗、二十家子、四道岗、碱场沟、兴立、平房、常堡、东利、二里13个村；第八区（安家）辖金山、东农、农范、兴业、治安、中心、蛤蜊滩、半里、新乐、振兴、庆丰、富胜、大安、民乐14个村；第九区（兴盛）辖九莲、东升、三道沟、四合、新农、长胜、齐心、兴盛、五道岗、文化、团山、新兴、莲花13个村；第十区（山河屯）辖爱路、保山、共和、平安、护林、福安、东南街、双和、东兴、梨树、铁路街、东北街、新太13个村；第十一区（沙河子）辖双龙、合作、新开、石头河、三人班、沙河、五山7个村；第十二区（长山）辖七星、朝阳、水泉、靠山、和平、永发、兴华、长山8个村；第十三区（向阳）辖向阳、建设、新发、春山、民主、解放、榆树7个村。拉林县下设7个区：第一区（城关）、第二区（八家子、新民）、第三区（兴隆）、第四区（兴安、红旗）、第五区（兴业、牛家）、第六区（利民、双桥子）、第七区（背荫河）。
1956年3月，拉林县与五常县合并后，改区为乡，以原区的所在地为中心乡，划为3个镇（五常镇、拉林镇、山河镇）、62个乡，下辖315个高级农业生产合作社。1958年秋人民公社化，全县共建25个公社，在原村政府的基础上建立299个管理区，管理区下设生产队1818个。1961年后，增设龙凤山、双桥子、二河3个公社。1982年末，全县共有3个镇、25个公社，403个生产大队、2372个生产队，19个城镇街道办事处，94个居民委，639个居民小组。全县共有自然屯1554个。
1984年2月，改为24个乡、4个镇，414个村，下属1598个自然屯。五常、拉林、山河三镇设17个街道办事处，112个居委会，下属604个居民组。1985年5月17日，经省政府批准将背荫河、安家、冲河、沙河子、社家、牛家6个乡改为镇。至此，全县共有10个镇、18个乡（其中民族乡8个）。各乡镇下属417个村委会，在1598个自然屯内设2200个屯民小组。县政府驻五常镇建设大街小十字街西路北。
1992年末，五常县位于黑龙江省南部，拉林河上游。北依阿城市，东、东南与尚志市、海林市和吉林省敦化市毗邻，南、西南与吉林省舒兰市、榆树市接壤，西北与双城市相连。全县总面积7512平方千米。总人口91.4万人，其中非农业人口22.2万人；满、朝鲜、回族等少数民族人口约占16.2%。辖11个镇、17个乡，其中民族乡（镇）6个。县境北部是满族聚居的地区，有5个满族乡（镇）；中部有朝鲜民族乡1个。县政府驻五常镇。（《黑龙江省志·地名录》）
1996年，五常市面积7512平方千米，人口90.5万人。辖11个镇、13个乡、4个民族乡：五常镇、山河镇、小山子镇、杜家镇、向阳镇、冲河镇、背荫河镇、安家镇、沙河子镇、牛家满族镇、拉林满族镇、双兴乡、保山乡、龙凤山乡、光辉乡、志广乡、民意乡、卫国乡、二河乡、常堡乡、八家子乡、兴隆乡、兴盛乡、长山乡、民乐朝鲜族乡、双桥子满族乡、营城子满族乡、 红旗满族乡。市政府驻五常镇。（《中国政区大典》）
2000年第五次全国人口普查，全市总人口888782人，其中：五常镇131912人，山河镇33788人，拉林满族镇33756人，杜家镇30842人，向阳镇20989人，沙河子镇31310人，小山子镇34500人，冲河镇29765人，安家镇29419人，背荫河镇25141人，牛家满族镇40925人，兴盛乡25900人，双兴乡26254人，长山乡40838人，保山乡11891人，民意乡21615人，卫国乡17108人，常堡乡17431人，二河乡18574人，光辉乡26402人，志广乡22629人，龙凤山乡18089人，民乐朝鲜族乡11807人，八家子乡30150人，双桥子满族乡18602人，红旗满族乡38215人，兴隆乡36322人，营城子满族乡26316人，山河屯林业局38292人。
2002?年，撤销双桥子满族乡并入拉林满族镇，撤销双兴乡并入山河镇，撤销保山乡并入向阳镇，撤销光辉乡并入龙凤山乡。调整后，全市辖11个镇、10个乡、3个民族乡：五常镇、拉林满族镇、山河镇、小山子镇、安家镇、牛家满族镇、杜家镇、背荫河镇、冲河镇、沙河子镇、向阳镇、兴盛乡、志广乡、卫国乡、常堡乡、民意乡、龙凤山乡、红旗满族乡、八家子乡、民乐朝鲜族乡、营城子满族乡、长山乡、兴隆乡、二河乡。境内有山河屯林业局。市政府驻五常镇。
2011年7月14日，《黑龙江省民政厅关于将五常市安家镇太平桥村和民意乡前进村的部分划归五常镇管辖的批复》：同意将五常市安家镇太平桥村、民意乡前进村（太平庄、吴瓦房、李家围子三个自然屯）划归五常镇管辖。