乐山古称嘉州。公元1734年，设乐山县。县南有洛山，当地读乐为洛，又作乐山。一说取“城西南五里有‘至乐山'”为名。
1950年设乐山专区，属川南行署区；乐山专署驻乐山县，辖乐山、犍为、沐川、屏山、雷波、马边、峨边、峨眉、井研等9县。1951年，由犍为县析置五通桥市，属乐山专署领导；乐山专区辖1市、9县。1952年，乐山专区属四川省领导。1953年，原眉山专区所属眉山、彭山、青神、夹江、洪雅（驻洪川镇）、丹棱6县划入乐山专区，辖1市、15县。
1953年，五通桥市改为省辖市，委托乐山专署代管。1955年，将雷波、马边、峨边3县划归凉山彝族自治州，峨边、马边2县委托乐山专署代管；乐山专区辖1市、12县。1957年，将屏山县划归宜宾专区。1958年，原属内江专区的仁寿县划入乐山专区。1959年，撤销五通桥市，并入乐山县；撤销青神、彭山2县，并入眉山县；撤销丹棱县，并入洪雅县；乐山专区辖9县。1962年，恢复彭山、青神、丹棱3县，乐山专区辖12县。
1970年，乐山专区改称乐山地区；撤销乐山县，设立乐山市，乐山市的行政区域包括原乐山县的行政区域和原由乐山地区直属的五通桥区；地区驻乐山市，辖乐山市及夹江、洪雅、丹棱、青神、眉山、彭山、井研、仁寿、犍为、沐川、峨眉等11县。1979年由原属峨边县的金口河区析置金口河工农区（相当于县级），工农区政府驻和平公社。乐山地区辖1市、11县、1工农区。1984年，撤销马边、峨边2县，设立马边彝族自治县和峨边彝族自治县，由凉山彝族自治州正式划归乐山地区管辖。
1985年，撤销乐山地区和乐山市、金口河工农区，设立地级乐山市和市中区、五通桥区、沙湾区、金口河区。1988年峨眉山撤县设市（县级）。1996年，乐山市面积20012.7平方千米，人口约668.2万人，辖市中、五通桥、沙湾、金口河4区，仁寿、眉山、犍为、井研、夹江、洪雅、彭山、沐川、青神、丹棱10县及峨边、马边2个彝族自治县，代管峨眉山1个县级市。市政府驻市中区。1997年将所辖眉山、仁寿、洪雅、彭山、青神、丹棱6县划归新成立的眉山地区（2000年改为地级眉山市）管辖。
2000年第五次人口普查，乐山市常住总人口3324139人。其中：市中区564857人、沙湾区192156人、五通桥区310229人、金口河区52916人、犍为县506834人、井研县384060人、夹江县348481人、沐川县229945人、峨边彝族自治县141166人、马边彝族自治县170425人、峨眉山市423070人。
2003年末，全市总户数107.66万户，总人口347.63万人,其中:非农业人口84.8万人，农业人口262.83万人。2004年末，全市总户数109.03万户，总人口347.67万人。其中：非农业人口85.82万人，农业人口261.85万人；共有4个街道、97个镇、122个乡、2个民族乡。
2010年第六次人口普查，乐山市常住总人口3235759人，其中：市中区662814人，沙湾区187180人，五通桥区312086人，金口河区49157人，犍为县434409人，井研县282222人，夹江县338346人，沐川县216737人，峨边彝族自治县139210人，马边彝族自治县176530人，峨眉山市437068人。