上海市，源于吴淞江下游的渔村，南宋咸淳三年（1267年）前成镇，镇因黄浦江西的上海浦得名。元至元二十八年（1291年）析华亭县东北、黄浦江东西两岸的高昌、长人、北亭、海隅、新江5个乡，并于翌年正式设立上海县，为松江府属县。1927年7月设上海特别市，1930年5月改称上海市。
1949年5月27日，上海解放。全市划为黄浦、老闸、新成、静安、江宁、普陀、邑庙、蓬莱等20个市区和新市、江湾、吴淞、大场等10个郊区。1958年1月，上海、嘉定、宝山3个县从江苏省划归上海市；10月，设立浦东县；11月，川沙、青浦、南汇、松江、奉贤、金山和崇明7个县从江苏省划归上海市。
1960年1月设立闵行区和吴淞区。1961年1月撤销浦东县。1961年3月至1962年5月，浙江省嵊泗列岛划归上海市。1964年5月，撤销闵行区、吴淞区。至此，上海市辖黄浦、南市、卢湾、徐汇、长宁、静安、普陀、闸北、虹口、杨浦10个市区和上海、嘉定、宝山、川沙、奉贤、南汇、松江、金山、青浦、崇明10个郊县。
1980年10月设立吴淞区。1981年2月设立闵行区。1988年1月，撤销宝山县和吴淞区，设立宝山区。1992年9月，撤销上海县和闵行区，设立新的闵行区。1992年10月，以川沙县全境、原上海县三林乡和黄浦、南市、杨浦3个区的浦东部分，设立浦东新区；撤销嘉定县，设立嘉定区。1995年7月1日，上海市政府驻地由中山东一路12号迁至人民大道200号。
1997年4月，撤销金山县，设立金山区。1998年2月，撤销松江县，设立松江区。1999年9月，撤销青浦县，设立青浦区。2000年6月，撤销黄浦区和南市区，设立新的黄浦区。2001年1月，撤销南汇县，设立南汇区;撤销奉贤县，设立奉贤区。2005年5月，宝山区管辖的长兴乡、横沙乡划归崇明县管辖。
2009年4月，撤销南汇区，其行政区域范围划入浦东新区。2011年5月，撤销黄浦区、卢湾区，设立新的黄浦区。至此，上海市辖浦东新区、黄浦、静安、徐汇、长宁、普陀、闸北、虹口、杨浦、宝山、闵行、嘉定、金山、松江、青浦、奉贤16个区和崇明1个县。