今临沂市境，西周分属鲁、莒、等诸侯国，战国属齐、楚。秦朝时属琅琊郡和郯郡，西汉时分属徐州之琅琊国、东海郡、城阳国和兖州之泰山郡。东汉分属徐州之利城郡、东海郡、琅琊郡、琅琊国和兖州之泰山郡、东莞郡、东安郡和城阳国。三国时期属魏国，魏末分属东海国、琅琊国、东莞郡、泰山郡。西晋分属徐州之琅琊国、东海郡、兰陵郡、东莞郡、兖州之泰山郡。晋室南渡后，地域先后属于后赵、东晋、前燕、后燕、南燕、前秦和北魏。
隋朝分属沂州（琅琊郡）、泗州（下邳郡）、密州（高州郡）、海州（东州郡）、徐州（彭城郡）。唐朝分属沂州（琅琊郡）、密州（高密郡）、徐州（彭城郡）。宋朝分属沂州（琅琊郡）、密州（高密郡）、淮郡军等。宋室南渡后，分属于金朝山东东路的沂州、莒州、邳州、泰安州。元朝分属兖州府和青州府。
清雍正十二年（1734年）升沂州为府，置附郭兰山县；降莒州为散州，属沂州府；有兰山、郯城、费县、沂水、蒙阴、日照、莒州6县1州。中华民国成立后，废府撤州，实行省、道、县三级制。1913年撤销沂州府，改莒州为莒县。1914年分山东省为4道，改兰山县为临沂县，临沂地域分属济宁道和胶东道。1918年撤销。1936年划为山东省第三行政督察专员公署。
抗日战争时期，这里是中国共产党创建的抗日根据地。1940年8月，在沂南县青驼寺成立山东省战时工作推行委员会。1943年9月改为山东省战时行政委员会。1945年8月在莒南县大店镇成立山东省政府。在抗日战争时期，这里相继建立过30多个县级和县级以上政权机构。其中属于县级的政权组织，一般称抗日民主政府，也有一些称作行署或办事处。这些县级政权组织，都独立的发挥县级政府的作用，分属鲁中、鲁南、滨海3个行政区。解放战争时期，行政区划层次仍沿袭抗日战争时期，只是对区划作了某些调整。1948年7月，鲁中、鲁南、滨海三个行政区合并为鲁中南行政区，设鲁中南行政公署（驻临沂城），下辖7个专区，49个县。
至1949年10月1日，临沂地域分属沂蒙、尼山、台枣、滨海4个专区。1950年5月，鲁中南行政区撤销：以沂蒙专区为基础，成立沂水专区，辖9县；以滨海专区为基础，成立临沂专区，辖9县。1953年1月将原属临沂专区的赣榆、东海、邳县、新县海连市划归江苏省。1953年7月，沂水专区撤销，除日照县划归胶州专区外，所辖其余各县皆划归临沂专区，同时，原属滕县专区的平邑县亦并入临沂专区。1956年3月，日照县划归临沂专区。
至1961年4月，临沂专区辖临沂、郯城、苍山、临沭、莒南、沂南、沂水、沂源、蒙阴、平邑、费县、日照、莒南13个县市。1989年6月12日，国务院确定，日照市升格为地级市；12月2日，国务院确定，沂源县划归淄博市管辖。1992年12月，莒县划归为日照市管辖。至此，临沂地区辖临沂、郯城、苍山、莒南、沂水、蒙阴、平邑、费县、沂南、临沭10个县市。
1994年12月17日，国务院批准撤销临沂地区和县级临沂市，设立地级临沂市。原市级临沂市分为兰山、河东、罗庄3个县级行政区。地级临沂市辖兰山、罗庄、河东3区和郯城、苍山、莒南、沂水、沂南、平邑、费县、蒙阴、临沭9县。市人民政府驻原临沂地区行署驻地。临沂市设立兰山区、罗庄区和河东区。兰山区辖兰山、金雀山、银雀山3个街道办事处和白沙埠镇、义堂镇、大岭镇、李官乡、半程镇、枣沟头镇、南坊乡、朱保乡、马厂湖乡。区人民政府驻原县级临沂市人民政府驻地。罗庄区辖罗庄镇、付庄镇、盛庄镇、册山镇、程庄乡、岑石乡，区人民政府驻罗庄镇。河东区辖九曲镇、相公镇、汤头镇、芝麻墩镇、梅埠镇、重沟镇、黑墩乡、汤河乡、郑旺乡、太平乡、八湖乡、刘店子乡，区人民政府驻九曲镇。
1996年，全市面积1.56万平方千米，人口约870.9万人，市政府驻兰山区，辖兰山、罗庄、河东3区和郯城、苍山、莒南、沂水、蒙阴、平邑、费县、临沭、沂南9县。2000年第五次全国人口普查，临沂市总人口9942652人。其中：兰山区938159人，罗庄区412454人，河东区587897人，沂南县869535人，郯城县972268人，沂水县1057758人，苍山县1128161人，费县904696人，平邑县974213人，莒南县964591人，蒙阴县535070人，临沭县597850人。
2002年末，全市共有11个街道、136个镇、33个乡。2003年5月13日，省政府批复同意将费县汪沟镇石家庄、东石沟、西石沟、后社、三胜庄、永太庄、任家庄等7个村划归临沂市兰山区半程镇管辖。2008年3月，罗庄区罗西街道划归临沂高新技术产业开发区代管。2010年，将苍山县沂堂镇划归罗庄区管辖。2011年，将费县新桥镇、方城镇、汪沟镇整建制划归兰山区管辖；将郯城县黄山镇、褚墩镇整建制划归罗庄区管辖；将沂南县葛沟镇整建制划归河东区管辖。
2014年1月8日，民政部（民函[2014]6号）批复同意苍山县更名为兰陵县。