春秋时称启阳，西汉为开阳，东汉属琅琊国，隋置临沂县。明洪武初撤临沂县入州，清雍正十二年称兰山县。民国2年称临沂县，1958年称临沂市，1963年改称临沂县，1983年恢复临沂市。
1994年12月17日，撤销临沂地区和县级临沂市，设立地级临沂市。临沂市设立兰山区、罗庄区和河东区。兰山区辖兰山、金雀山、银雀山3个街道办事处和白沙埠镇、义堂镇、大岭镇、李官乡、半程镇、枣沟头镇、南坊乡、朱保乡、马厂湖乡。区人民政府驻原县级临沂市人民政府驻地。
1984年4月，城关镇划分为金雀山、银雀山、兰山3个办事处。1993年9月8日，撤销大岭乡，设立大岭镇；撤销南坊乡，设立南坊镇。1994年9月7日，撤销半程乡、枣沟头乡，设立半程镇、枣沟头镇。1996年初，兰山区面积650平方千米，人口52万，辖3个街道6镇3乡。区政府驻兰山街道。1996年12月29日，撤销马厂湖乡，设立马厂湖镇（鲁政函民字[1996]64号）。至此，兰山区辖3个街道、7个镇、2个乡。
1999年，兰山街道辖21个行政村，12419户35868人；金雀山街道辖8个行政村，5222户16001人；银雀山街道辖12个行政村，11454户34795人；马厂湖镇辖21个行政村，8633户32948人；朱保乡辖33个行政村，9920户36179人；枣沟头镇辖54个行政村，14819户53913人；半程镇辖51个行政村，12559户43142人；白沙埠镇辖50个行政村，15019户52813人；大岭镇辖51个行政村，20326户79283人；李官乡辖49个行政村，12140户37851人；南坊镇辖55个行政村，19178户74038人；义堂镇辖35个行政村，14640户51998人。（数据来源：《临沂市2000年统计年鉴》）
2000年4月19日，将大岭镇前钦宿、后钦宿、葛家王平庄、曹家王平庄、蒋家王平庄、八里屯、小官路、西张庄、毛家庄、沟上、前韦家屯、后韦家屯、韦家屯等13个村划归兰山街道办事处管辖（鲁政函民字[2000]30号）。2000年第五次人口普查，全区总人口938159人，其中：兰山街道213102人、银雀山街道137696人、金雀山街道100017人、南坊镇74887人、白沙埠镇56121人、枣沟头镇58921人、半程镇47517人、大岭镇71249人、义堂镇61022人、马厂湖镇33237人、李官乡41701人、朱保乡42689人。
2000年，兰山街道辖34个行政村，18333户48478人；金雀山街道辖8个行政村，5473户16325人；银雀山街道辖12个行政村，11433户33845人；马厂湖镇辖21个行政村，8909户29332人；朱保乡辖33个行政村，10533户36522人；枣沟头镇辖54个行政村，15620户54799人；半程镇辖51个行政村，12711户43329人；白沙埠镇辖50个行政村，15294户52813人；大岭镇辖38个行政村，16986户60600人；李官乡辖49个行政村，12140户37851人；南坊镇辖55个行政村，19278户74138人；义堂镇辖35个行政村，15496户52302人。（数据来源：《临沂市2001年统计年鉴》）
2001年，兰山区由3个街道、7个镇、2个乡调整为3个街道、6个镇、2个乡：兰山街道、金雀山街道、银雀山街道、义堂镇、白沙埠镇、南坊镇、枣沟头镇、半程镇、马厂湖镇、李官乡、朱保乡。兰山街道辖72个行政村，32925户110467人；金雀山街道辖8个行政村，5048户16084人；银雀山街道辖12个行政村，8540户26490人；马厂湖镇辖21个行政村，10031户33501人；朱保乡辖33个行政村，10010户36719人；枣沟头镇辖54个行政村，15895户55792人；半程镇辖51个行政村，13025户43574人；白沙埠镇辖50个行政村，16387户56612人；李官乡辖49个行政村，12604户37961人；南坊镇辖55个行政村，19162户72278人；义堂镇辖35个行政村，13854户45365人。（数据来源：《临沂市2002年统计年鉴》）
2002年3月22日，省政府批复同意：撤销朱保乡，设立朱保镇，其行政区域和人民政府驻地不变；撤销李官乡，设立李官镇，其行政区域和人民政府驻地不变。至此，兰山区辖3个街道、8个镇。
2002年，兰山街道辖72个行政村、18个居委会，33728户112211人，面积90.91平方千米，镇区人口3010人；银雀山街道辖12个行政村、8个居委会，8711户27810人，面积17.13平方千米，镇区人口2884人；金雀山街道辖8个居委会，5223户16117人，面积15.26平方千米，镇区人口4528人；南坊镇辖55个行政村，19691户72818人，面积56.31平方千米，镇区人口7199人；白沙埠镇辖50个行政村，15748户57109人，面积70.26平方千米，镇区人口4592人；枣沟头镇辖54个行政村，16178户56803人，面积64.46平方千米，镇区人口7216人；半程镇辖51个行政村，13070户44108人，面积81.34平方千米，镇区人口23760人；义堂镇辖35个行政村，15614户52727人，面积53.17平方千米，镇区人口39938人；马厂湖镇辖21个行政村，9097户30376人，面积69.86平方千米，镇区人口6202人；李官镇辖49个行政村，12649户37658人，面积82.86平方千米，镇区人口5063人；朱保镇辖33个行政村，10031户36716人，面积48.81平方千米，镇区人口17182人。合计：440个行政村，159740户544453人，面积650.37平方千米，镇区人口121574人。（数据来源：《临沂市2003年统计年鉴》。注：该年鉴“分县区年末户数、人口数”中兰山区是241876户856157人）
2003年1月17日，省政府批复同意撤销南坊镇，以原南坊镇的行政区域设立南坊街道，办事处驻原南坊镇政府驻地。2003年5月13日，省政府批复同意将费县汪沟镇石家庄、东石沟、西石沟、后社、三胜庄、永太庄、任家庄等7个村划归临沂市兰山区半程镇管辖。2011年，将费县新桥镇、方城镇、汪沟镇整建制划归兰山区管辖；11月，撤销朱保镇，并入义堂镇；撤销新桥镇，并入方城镇；将汪沟镇山水口村、小湖村、小柳汪村3个行政村划归半程镇管辖。调整后，兰山区面积886平方千米，辖4个街道、8个镇：兰山街道、银雀山街道、金雀山街道、南坊街道、白沙埠镇、枣沟头镇、半程镇、义堂镇、马厂湖镇、李官镇、方城镇、汪沟镇。区政府驻兰山街道。