隋开皇十八年（598年）改永阳县为应山县。以城东应台山得名。大业二年（606年）废应州，省平靖县并入应山县。唐朝武德四年（621年）复置应州，辖应山一县。武德八年废应州，省礼山县并入应山县，与吉阳县同属安州。宋开宝年间，省吉阳县并入应山县，属安州。宣和元年（1119年）安州升为德安府，辖应山。明洪武十年（1377年）五月，应山县并入随县，十三年五月复置。
1914年属江汉道。1927年废道，直属湖北省。1932年属第五行政督察区；1936年改属第三行政督察区。1949年属孝感专区，1959年属武汉市，1961年复属孝感专区，1970年属孝感地区。1988年10月11日，国务院批准撤销应山县，设立广水市（县级）。1993年由孝感市代管。2000年6月25日，国务院批准将孝感市代管的广水市划归地级随州市代管。
1996年，广水市面积2647平方千米，人口82万人。辖3个街道、11个镇、6个乡：应山街道、广水街道、十里街道、平林镇、长岭镇、陈巷镇、杨寨镇、关庙镇、余店镇、蔡河镇、东篁店镇、吴家店镇、郝店镇、马坪镇、兴隆乡、城郊乡、李店乡、太平乡、骆店乡、宝林乡。市政府驻应山。
2000年第五次人口普查，广水市总人口885936人，其中：应山街道76543人，十里街道42585人，广办街道74795人，武胜关镇39986人，杨寨镇53804人，陈巷镇52544人，平林镇25912人，长岭镇51227人，马坪镇42142人，关庙镇57300人，余店镇40210人，吴店镇29311人，郝店镇35793人，蔡河镇47110人，城郊乡52021人，宝林乡18517人，李店乡42773人，太平乡32682人，骆店乡43865人，兴隆乡26816人。
2004年末，广水市面积2647平方千米，人口890245人。辖3个街道、11个镇、6个乡，22个居委会、376个村委会。
2005年2月4日，《湖北省民政厅关于广水市调整部分乡镇行政区划的批复》（鄂民政发[2005]11号）：经省人民政府批准，同意广水市调整下列乡镇行政区划：（一）撤销宝林乡，将原宝林乡的院子湾、华家尖、白水河3个村委会划归蔡河镇管辖，其余行政区域划归十里街道办事处管辖。（二）撤销兴隆乡，将原兴隆乡的行政区域划归余店镇管辖，镇人民政府驻余店。（三）撤销李店乡，将原李店乡的行政区域划归太平乡管辖，乡人民政府驻太平。（四）撤销平林镇，将原平林镇的行政区域划归长岭镇管辖，镇人民政府驻长岭。
2005年末，广水市辖3个街道、10个镇、3个乡。共有29个居委会、351个村委会。
2010年第六次人口普查，广水市常住总人口755910人，其中：应山街道98587人，十里街道46666人，广水街道75111人，武胜关镇37010人，杨寨镇36701人，陈巷镇39236人，长岭镇66685人，马坪镇31221人，关庙镇43906人，余店镇49973人，吴店镇22383人，郝店镇26816人，蔡河镇37773人，城郊乡49269人，李店乡30862人，太平乡26629人，骆店乡36236人，中华山林场128人，三潭风景区718人。
2014年，撤销太平乡，设立太平镇（鄂民政函[2014]33号）；撤销李店乡，设立李店镇（鄂民政函[2014]34号）。调整后，全市辖3个街道、12个镇、2个乡：应山街道、十里街道、广水街道、武胜关镇、杨寨镇、陈巷镇、长岭镇、马坪镇、余店镇、关庙镇、吴店镇、郝店镇、蔡河镇、太平镇、李店镇、城郊乡、骆店乡。