西汉时，这里曾是一个偏僻的小村，当时称为“落柑村”，落是落叶的落，柑是柑橘的柑，据后人推测，可能是因为这里遍地布满了柑橘树的缘故，到了元代，改为“清泉夼”。
夏、商、周三代，今市境为东方夷之地，属青州，有莱夷聚居。战国属齐，秦属齐郡（后为胶东郡）县地。汉至三国属青州东莱郡，晋代分属东莱国、长广郡。568年（北齐天统四年），境内设文登县，今市境尽属之。此后，朝代更替，但隶属文登县未变。明洪武三十一年（1398年），为防倭寇侵扰，设威海卫，取威震海疆之意，威海即由此而来。1898年，威海卫被英国强租。1900年，设威海卫行政长官署，属英国殖民部。1930年10月，中国收回威海卫，置威海卫行政区，直属国民政府行政院。1945年，设威海卫市，建国后改成威海市。
1950年5月，成立文登专区，辖威海（县级）、荣成、文登、昆嵛、乳山、海阳、牟平、福山等8县。1956年2月，文登专区撤销，现威海地改属莱阳专区。1958年10月，莱阳专区改为烟台专区，1967年2月，烟台专区更名为烟台地区，现威海地属之。1983年8月撤销烟台地区，设烟台市（地级），同时县级威海市改为省辖县级市，由烟台市代管，文登、荣成、乳山3县归烟台市管辖。1987年6月15日，国务院以国函[1987]105号《国务院关于山东省威海市升为地级市的批复》批准，将威海市升为地级市。原县级威海市的行政区域设为环翠区。将烟台市的荣成、文登、乳山3县划归威海市管辖。9月27日地级威海市举行成立大会，10月1日地级威海市市直机关正式对外办公。
1988年10月24日，撤销文登县，设立文登市；1988年11月1日，撤销荣成县，设立荣成市；1993年7月17日，撤销乳山县，设立乳山市；均为省辖县级市，由威海市代管。1991年3月6日，经国务院批准，由原国家科学技术委员会、山东省人民政府和威海市人民政府共同创办威海火炬高技术产业开发区。威海火炬高技术产业开发区管理委员会，是市政府的派出机构。
1992年1月16日，经山东省人民政府批准，环翠区田村镇的毕家疃、后峰西、东涝台、西涝台4村划归威海火炬高技术产业开发区；5月21日，威海市人民政府批准成立威海火炬高技术产业开发区街道，辖毕家疃等4村；10月21日，由国务院批准设立威海经济技术开发区。威海经济技术开发区管理委员会，也是市政府的派出机构。12月24日，经山东省人民政府批准，撤销环翠区蒿泊镇，成立蒿泊街道。
1993年1月18日，威海市人民政府决定，蒿泊街道由环翠区划归威海经济技术开发区管理。1994年6月23日，经山东省人民政府批准，荣成市泊于镇、桥头镇，文登市初村镇、草庙子镇划归环翠区。1996年8月12日，经山东省人民政府批准，撤销环翠区田村镇，成立田村街道。同月，威海市人民政府决定，田村街道由环翠区划归威海火炬高技术产业开发区管理。并决定，刘公岛街道与刘公岛管理委员会成立后合署办公。
2000年，荣成市撤销4个镇；威海经济技术开发区撤销蒿泊街道，在原蒿泊街道行政区域范围内设立皇冠、凤林、西苑3个街道；全市新增居委会1个。调整后，威海市辖环翠区、荣成市、文登市、乳山市和威海火炬高技术产业开发区、威海经济技术开发区（两个开发区管委会为市政府派出机构），68个镇、9个街道，2679个行政村、174个居委会。本年第五次人口普查，威海市常住总人口2566753人。其中：环翠区609219人，文登市675061人，荣成市732147人，乳山市550326人。
2001年，威海火炬高技术产业开发区撤销田村街道，所属区域分设为田和、万欣、卧龙3个街道，原威海火炬高技术产业开发区街道更名为怡园街道。乳山市撤销马石店镇，所属区域并入崖子镇；撤销城北镇，所属区域并入夏村镇；由夏村镇划出24村设立城区街道。荣成市撤销寻山镇、崂山镇，所属区域并入崖头镇；撤销东山镇、王连镇，所属区域并入石岛镇；撤销马道镇，所属区域并入俚岛镇；撤销靖海镇，所属区域并入人和镇；撤销黄山镇，所属区域并入邱家镇并更名为虎山镇。文登市撤销文城镇和双龙街道，所属区域分设为天福路、环山路、龙山路3个街道；撤销口子镇，所属区域并入大水泊镇；撤销天福山镇，所属区域并入文登营镇；撤销北郊镇，所属区域并入苘山镇；撤销晒字镇，所属区域并入界石镇；撤销铺集镇，所属区域并入葛家镇；撤销埠口镇，所属区域并入张家产镇。区划调整后，全市辖环翠区、文登市、荣成市、乳山市和威海火炬高技术产业开发区、威海经济技术开发区（两个开发区设管理委员会为市政府派出机构）。共设14个街道、52个镇，2638个行政村、220个居委会。
2003年5月12日，威海市人民政府决定，将环翠区的初村镇划归威海火炬高技术产业开发区管理；将环翠区的崮山镇、泊于镇划归威海经济技术开发区管理。6月27日，市人民政府决定撤销刘公岛街道。2004年末，全市辖1个市辖区，2个开发区，代管3个县级市，共有14个街道、52镇，249个居委会、2619个村委会；全市户籍人口884767户、2483889人，环翠区589154人、文登市646032人、荣成市667527人、乳山市581176人（人口数据来源《威海市2005年鉴》）。
2005年1月5日，经山东省人民政府批准，撤销荣成市石岛镇、宁津镇，设立港湾、斥山、东山、王连、桃园和宁津6个街道。5月27日，经威海市人民政府批准，撤销万欣街道，所属区域并入田和街道；撤销卧龙街道，所属区域并入怡园街道。2006年末，全市总面积5698平方千米，其中城市建成区面积92平方千米。总人口249.83万人，其中城镇人口117.56万人。辖4个市（区）,68个镇（街道）。2010年第六次人口普查，威海市常住总人口2804771人，其中：环翠区844310人，文登市673625人，荣成市714355人，乳山市572481人。
2014年1月25日，《国务院关于同意山东省调整威海市部分行政区划的批复》（国函[2014]13号）：一、同意撤销县级文登市，设立威海市文登区，以原文登市（不含汪疃镇、苘山镇）的行政区域为文登区的行政区域，文登区人民政府驻天福街道文山路30号。二、同意将原文登市的汪疃镇、苘山镇划归威海市环翠区管辖。【2月27日《山东省人民政府关于调整威海市部分行政区划的通知》（鲁政字[2014]48号）】【3月18日威海市文登区正式挂牌成立】【本站注：苘山镇应是蔄山镇，因为“蔄[màn]”为生僻字，在一些场合下用“苘”（正音为qǐng）代替】