春秋战国市地属楚、秦。秦昭襄王二十九年（公元前278年），分南郡竟陵以东及江南置江夏郡，从此鄂县南移属江夏，江夏郡统有鄂、下雉等14县，市地在鄂县境内。三国魏黄初二年（221年），孙权自公安迁都于鄂（今鄂州），改鄂为武昌，并割鄂之南建阳新县，以武昌、下雉、阳新、柴桑、沙羡、浔阳六县为武昌郡，市地在武昌郡之武昌（今鄂州）、阳新两县之间的下雉县境内。黄初四年（223年），孙权将郡治迁至夏口（今汉口）。又改武昌郡为江夏郡，市地在江夏郡之武昌、阳新县境内。
西晋太康元年（280年），改江夏郡为武昌郡，以武昌、柴桑、鄂县、阳新、沙羡、沙阳、高陵等七县属地。市地在武昌、鄂县、阳新三县境内。不久，武昌与鄂县合并，仍为武昌县，市地在武昌、阳新两县境内。东晋建武元年（317年）江州由豫州移至武昌，太元九年（384年）移至浔阳。义熙八年（412年），下雉县并入阳新县。市地在武昌、阳新两县境内。南朝宋孝建元年（589年），改阳新为富川，不久又改富川为永兴，市地在武昌、永兴两县境内。梁置西陵县于此，后废。
唐代属鄂州武昌、永兴两县。唐末属吴国鄂州。天祐二年（905午），吴王杨行密将永兴县和武昌划出一块地盘置青山场院，进行大规模采矿、开炉冶炼。五代十国时属鄂州武昌县、永兴县。梁、唐时属吴，晋、汉、后周、北宋初时局南唐。宋乾德五年（967年），南唐始建大冶县。以境内矿产丰富，冶炼业发达，升青山场院并划武昌三乡与之合并，新设一县，取自殷商以来一直“大兴炉冶”之意，便定名为大冶县。从此，自宋至民国市地隶属兴国路、兴国州、武昌府、湖北省大冶县。
1932年国民政府在省、县之间设立湖北省行政督察专员公署，市地属湖北省第二专署大冶县；1938年改属第一专署。民国27年（1938年）大冶沦陷，日军在大冶建立伪政权，盗称“中华民国湖北省大冶县政府”，并在石灰窑和黄石港两镇建置“石黄示范区”，国民党大冶县政府则流亡至毛铺等地。民国34年（1945年）8月15日日本宣布投降，国民党大冶县政府接管，复置石灰窑和黄石港两镇，隶属大冶县辖。民国37年（1948年）将石灰窑和黄石港两镇合并为石黄镇，隶属于大冶县。
1927年，大冶县是中国共产党领导的湘鄂赣革命根据地的一部分。1930年成立大冶县苏维埃政府，先后隶属于湖北省鄂东革命委员会、湘鄂赣省苏维埃政府鄂东办事处，湘鄂赣省鄂东南苏维埃政府。1942年，新四军五师14旅，在大冶、阳新、鄂城等地先后建立大鄂政务委员会、鄂大政务委员会、阳大政务委员会，统属于鄂南政务委员会领导。
1949年5月1日中国人民解放军解放石黄镇。不久，经中原临时人民政府批准，设置湖北大冶特区办事处，直属中原临时人民政府。同年l0月，成立湖北省大冶工矿特区人民政府。1950年8月21日，在原黄石港和石灰窑江滨集镇的基础上，正式建立省辖黄石市（驻石灰窑）。
1959年1月26日原属黄冈专区的大冶县划归黄石市领导。1960年撤销大冶县，并入黄石市。1962年恢复大冶县，由黄石市领导。1994年撤销大冶县，设大冶市，由黄石市代管。1996年，将咸宁地区管辖的阳新县划归黄石市管辖。2001年，将黄石市石灰窑区更名为西塞山区。
1996年，黄石市面积4630平方千米，人口约228.7万人。市政府驻南湖乡。辖黄石港、石灰窑、下陆、铁山4区和阳新县，代管大冶1个县级市。
2000年第五次全国人口普查，黄石市总人口2477467人（包括外来常住人口，不包括常年外出人口），密度540人/平方千米。其中：黄石港区196569人，密度5757人/平方千米；石灰窑区244035人，密度2171人/平方千米；下陆区146649人，密度2536人/平方千米；铁山区66469人，密度2256人/平方千米；阳新县949886人，密度341人/平方千米；大冶市873859人，密度558人/平方千米。说明：开发区人口5.02万人，其中：团城山街道3.91万人计入下陆区，花湖农场1.11万人计入黄石港区。
2004年末，全市面积4655平方千米，人口2476688人。辖4个市辖区、1个县，代管1个县级市，共有20个街道、27个镇、1个乡，178个居委会、713个村委会。 黄石经济开发区（黄石磁湖高新技术开发区）管委会驻杭州路。面积37平方千米，人口55227人，辖2个街道，15个社区、217个居民小组（根据“黄石市政府网站”2004年数据）。团城山街道面积28平方千米，人口32669人，辖马鞍山、皇姑岭、肖家铺、袁家畈、陈百 、箭楼下、石榴园、青龙山、柯尔山、杭州东路10个社区、112个居民小组，办事处驻杭州路。花湖街道面积9平方千米，人口22558人，辖花湖，锁前，老虎头，大码头，天虹5个社区、105个居民小组，办事处驻花湖西路。