周初属并州，春秋属晋，战国属赵，秦属太原郡。晋为西河国、太原国。隋属娄烦、西河等郡，唐属石州、汾州、隰州、岚州、并州等。宋增设晋宁军，金属石州、汾州、隰州、岚州及太原府。元属冀宁路。明、清属太原府、平阳府、汾州府。民国属冀宁道。
1949年，设兴县专区，专署驻兴县，辖兴县、临县、方山、离石、偏关、神池、五寨、河曲（驻巡镇司）、保德、岚县、岢岚等11县；设汾阳专区，行署驻汾阳县，辖汾阳等9县。1950年，岚县驻地迁东村。1951年3月27日，汾阳专区撤销，交城、文水、汾阳、孝义等县划归榆次专区，中阳县划归兴县专区；石楼县划归晋南专区。1952年7月1日，撤销兴县专区，将兴县、保德、河曲、偏关、神池、五寨、岢岚、岚县等8县划归忻县专区；中阳、离石、方山、临县4县划归榆次专区。
1954年7月1日，离石、方山二县合并为离山县。1958年11月10日，文水、交城二县并入汾阳县，中阳县与离山县合并为离石县，孝义县并入介休县，岚县分别划入静乐和兴县，石楼县并入吕梁县。1959年9月19日，除孝义县以外其它各县恢复建置。1961年5月恢复孝义县建置。
1971年5月1日，设立吕梁地区，地区驻离石县，将原属晋中地区的临县、交城、离石、汾阳、文水、孝义、中阳等7县及原属临汾地区的石楼县，原属忻县地区的兴县、岚县划归吕梁地区；恢复方山县（驻圪洞），由静乐县析置娄烦县（驻娄烦镇），由孝义、隰县、灵石3县部分地区设立交口县（驻交口）；吕梁地区辖13县。
1972年4月，娄烦县划归太原市。1971年10月5日，由离石、中阳2县析置设柳林县（驻柳林镇）（山西省革命委员会1971年7月5日报告实施，国务院1973年10月5日正式批准）。1992年2月10日，经国务院批准撤销孝义县，设立孝义市。1996年4月29日，经国务院批准撤销离石县，设立离石市。1996年8月20日，经国务院批准撤销汾阳县，设立汾阳市。
2000年第五次人口普查，吕梁地区常住总人口3382280人，其中，孝义市414154人，离石市235678人，汾阳市387046人，文水县401641人，交城县207404人，兴县259451人，临县553440人，柳林县282840人，石楼县101858人，岚县163897人，方山县135598人，中阳县131812人，交口县107461人。
2003年10月23日，国务院（国函〔2003〕112号）批复：一、同意撤销吕梁地区和县级离石市，设立地级吕梁市。市人民政府驻新设立的离石区永宁中路。二、吕梁市设立离石区，以原离石市的行政区域为离石区的行政区域，区人民政府驻交通路。三、吕梁市辖原吕梁地区的交城县、文水县、兴县、岚县、临县、方山县、中阳县、柳林县、交口县、石楼县和新设立的离石区，原吕梁地区的县级汾阳市和孝义市由省直辖。【2004年7月9日正式撤地设市；县级汾阳市、孝义市由地级吕梁市代管】
2010年第六次人口普查，吕梁市常住总人口3727068人，其中，离石区320142人，文水县421199人，交城县230521人，兴县279373人，临县579077人，柳林县320676人，石楼县111815人，岚县174182人，方山县143809人，中阳县141374人，交口县119918人，孝义市468770人，汾阳市416212人。
2015年末，吕梁市常住人口383.22万人。共有13个街道、81个镇、67个乡（合计161个），185个居委会、3118个村委会（合计3303个）。