长治市古有上党之称。商、周为黎国地。战国时期长治为韩国别都，称“上党郡”。秦并吞六国后，属上党郡，隋置上党县。隋开皇时改为潞州。唐时改为河东道潞州上党县。明嘉靖八年（1529年）改称潞州府，并置长治县取“长治久安”之意，长治由此而得名。清朝时继旧制为潞安府长治县。民国初废道，长治改属冀宁道。民国19年（1930年）废道制，长治直隶省辖。
1949年设长治专区，专署驻长治，辖长治、长子、屯留、沁源、沁县、武乡、襄垣、黎城、潞城、平顺、壶关、陵川、高平、晋城、阳城、沁水等16县及长治城关区。1950年，长治城关区改设长治工矿区。1951年，长治工矿区改设长治市，由省直辖；长治专区辖16县。1954年，长治、潞城2县合并，改为潞安县（驻长治市）；长治专区辖15县。
1958年，长治专区改为晋东南专区，专署驻长治市，长治市划归晋东南专署领导；撤销屯留、长子2县，合并设立屯长县（后又撤销屯长县，并入长治市）；撤销潞安县，并入长治市和黎城县；撤销平顺县，并入黎城、壶关2县；撤销陵川、高平2县，并入晋城县；撤销沁水县，并入阳城县；撤销襄垣、沁县2县，合并设立襄沁县；后又撤销襄沁、沁源2县，合并设立沁县（驻旧沁县城）；将武乡、榆社2县合并，称为武乡县。晋东南专区辖长治市及黎城、壶关（驻原平顺县城）、晋城、阳城、沁县、武乡（驻段村镇）等6县。
1960年，恢复屯长（驻鲍店镇）、平顺、陵川、沁水、沁源、襄垣6县。1961年，恢复高平、屯留、长子3县，撤销屯长县。1962年，恢复长治（驻长治市）、潞城（驻城关镇）2县。至此，晋东南专区辖长治市及长治（驻长治市）、潞城、襄垣、武乡、黎城、平顺、壶关、陵川、高平、晋城、阳城、沁水、长子、屯留、沁源、沁县等16县。
1970年，晋东南专区改称晋东南地区，地区驻长治市，仍辖1市、16县。1973年，长治县迁驻韩店。1975年，长治市改由省直辖，晋东南地区辖16县。1983年7月28日，国务院批复同意：撤销晋城县，设立晋城市；将晋东南地区的长治、潞城二县划归长治市管辖，晋东南地区辖1市、13县。
1985年4月30日，国务院（国函〔1985〕62号）批复同意撤销晋东南地区，实行市管县体制；晋城市升为地级市，并设立城区和郊区，将原晋东南地区的沁水、阳城、高平、陵川四县划归晋城市管辖；将原晋东南地区的襄垣、屯留、平顺、黎城、壶关、长子、武乡、沁县、沁源九县划归长治市管辖。
2000年第五次人口普查，长治市常住总人口3138991人，其中，城区361508人，郊区287473人，长治县323236人，襄垣县248383人，屯留县248225人，平顺县160868人，黎城县155075人，壶关县282564人，长子县337354人，武乡县196097人，沁县169959人，沁源县154305人，潞城市213944人。
2010年第六次人口普查，长治市常住总人口3334565人，其中，城区483628人，郊区281213人，长治县340963人，襄垣县270216人，屯留县263844人，平顺县150955人，黎城县158541人，壶关县291609人，长子县353266人，武乡县182549人，沁县172205人，沁源县158702人，潞城市226874人。
2015年末，长治市常住人口342.04万人。共有14个街道、68个镇、64个乡（合计146个），140个居委会、3454个村委会（合计3594个）。