山南市是西藏历史上开发最早的地区之一，也是吐蕃王朝和帕竹王朝的发迹地。1253年元朝中央派兵进入西藏后，受元朝赐封掌管全藏的大司徒强曲坚村执政，规定“宗”为基本行政单位，在乃东，贡噶等地设置十三个“宗”。并以乃东为统治中心，故亦称乃东王朝。1751年，七世达赖成立西藏噶厦政府，下设“基巧”（相当于专区）“宗”（相当于县）两级机构。山南基巧又称洛喀基巧，驻地泽当，下辖13个宗。
1951年西藏和平解放后，设洛喀基巧，即山南总管，公署驻乃东，辖乃东宗，贡嘎宗，堆谿，札囊宗，札期谿，桑耶宗，琼结宗，温宗，桑日宗，沃卡宗，拉加里宗，拉绥谿，加查宗，朗宗，古如朗木杰谿，隆子宗，错那宗，哲古谿，达马谿，拉康谿，僧格宗，多宗等22宗谿。
1954年将拉绥谿，加查宗，朗宗，古如朗木杰谿划归塔工总管管辖，洛喀总管管辖温宗，桑日宗，沃卡宗，拉加里宗，乃东宗，泽当，颇章谿，琼结宗，雅堆宗，札期谿，札囊谿，哲古谿，达马谿，拉康谿，僧格宗，多宗，隆子宗，嘉玉谿，觉拉谿，桑耶宗，贡嘎宗，堆谿，错那宗，门达旺，浪卡子宗，岭谿，白地宗，夏洛，夏江，杰得秀谿等30宗谿。
1960年设立山南专区，专署驻乃东县泽当。原塔工总管所辖的拉绥谿，加查宗，朗宗，古如朗木杰谿，金东谿划入山南专区。以乃东宗和泽当设乃东县；以桑日宗，沃卡宗，温宗等设桑日县；以拉加里宗设拉加里县（驻曲松）；以隆子宗与觉拉谿，嘉玉谿合并设隆子县；以错那宗设错那县；以哲古谿与达马谿合并设哲古县（驻当许）；以琼结宗设穷结县；以多宗与僧格宗，拉康谿合并设洛扎县（驻嘎波）；以贡嘎宗及堆谿，札谿，隆巴谿，昌谷谿，杰得秀谿等合并设贡嘎县（驻腊麦）；以札囊宗与桑耶宗，札期谿合并设札囊县；以加查宗和拉绥谿合并设加查县（驻仲坝）；以朗宗与金东谿，古如朗木杰谿合并设朗县（驻朗村）。山南专区辖乃东，桑日，加查，朗县，拉加里，隆子，错那，哲古，穷结，洛扎，贡嘎，札囊等12县。
1964年原江孜专区所属浪卡子，打隆2县划入山南专区；撤销打隆县，并入浪卡子县；山南专区辖13县。1965年，拉加里县改名为曲松县；哲古县改名为措美县。1970年改为山南地区1970年山南专区改为山南地区，地区驻乃东县泽当，辖乃东，加查，曲松，错那，穷结，贡嘎，浪卡子，桑日，朗县，隆子，措美（驻当许），洛扎，札囊等13县。1985年朗县划归林芝地区，由原辖13个县变成12个县。
1996年，山南地区面积79969平方千米，人口约29.9万人，有藏，汉，门巴，洛巴等民族，其中藏族占95%以上，行政公署驻乃东县泽当镇，辖乃东，措美，错那，贡噶，加查，浪卡子，洛扎，隆子，琼结，曲松，桑日，扎囊12个县。
2000年第五次人口普查，山南地区常住总人口318106人，其中，乃东县58808人，扎囊县35278人，贡嘎县44624人，桑日县16033人，琼结县17031人，曲松县16037人，措美县13529人，洛扎县18407人，加查县18263人，隆子县32184人，错那县15277人，浪卡子县32635人。
2010年第六次人口普查，山南地区常住总人口328990人，其中，乃东县59615人，扎囊县35473人，贡嘎县45708人，桑日县17261人，琼结县17093人，曲松县14280人，措美县13641人，洛扎县18453人，加查县23434人，隆子县34141人，错那县15124人，浪卡子县34767人。
2016年，国务院批复同意撤销山南地区和乃东县，设立地级山南市。山南市设立乃东区，以原乃东县的行政区域为乃东区的行政区域。