因境内有汨水、罗水会合，其下游名汨罗江，因以得名。春秋时，楚文王置罗子国于此。秦改为罗县，治所在今汨罗市区北，属长沙郡。南朝梁增置岳阳县，属岳阳郡，郡、县同治于今长乐镇。隋开皇时，岳阳县并入湘阴县。唐武德八年（公元625年）废罗县入湘阴县。此后历为湘阴县地。
1966年2月析湘阴县东北部建汨罗县，因境内汨罗江得名，县治设今城关镇。时属岳阳专区，1968年后属岳阳地区，1986年后属岳阳市。1987年9月23日，国务院（国函[1987]160号）批准，撤销汨罗县，设立汨罗市（县级）。以原汨罗县的行政区域为汨罗市的行政区域。
北宋元丰年间（1078-1085年）置乡、坊、里。汨罗境内设有长乐、永宁、归政、大义4乡和归义、新市坊。元代改乡为都，改里为图，后因都图册分载里中，辗转以里为都。明初恢复乡、坊设置，乡下设都。
清袭明制，乡、都相附。清咸丰五年（1855年）改设局团，汨罗境内设19局，206团。民国二年（1913），实行地方自治，改局为乡，乡下设保，保下设甲。至民国三十八年（1949年）7月境内设有四区，17乡，223保，2347甲。
1949年8月，今汨罗境内设17乡，3镇。1950年9月，改设6区、84乡、2镇。其后，区乡规模常有变更。1956年5月并31乡。1958年建立公社，设16个公社，120大队，1126个生产队。1961年底调整至33个公社。
1966年2月设置汨罗县，33个公社调整为25个公社及1个县属镇。1984年撤社复乡，大队、生产队改为村、村民小组。1993年，撤销新市乡，将其行政区域并入新市镇；撤销黄柏乡，设立黄柏镇。1994年，撤销大荆乡，设立大荆镇。1995年，古培、大众2乡合并设立古培镇。
1996年初，汨罗市面积1562平方千米，人口62.67万，辖12镇17乡：城关镇、大荆镇、川山坪镇、长乐镇、古培镇、白水镇、汩罗镇、桃林寺镇、高家坊镇、黄柏镇、弼时镇、新市镇、八景乡、三江乡、天井乡、火天乡、古仑乡、白塘乡、玉池乡、红花乡、黄市乡、沙溪乡、范家园乡、城郊乡、铜盆乡、智峰乡、楚塘乡、新塘乡、磊石乡。境内有国营屈原农场。市政府驻城关镇。
1996年，撤销铜盆乡，设立李家塅镇。至此，汨罗市辖13个镇、16个乡：大荆镇、川山坪镇、长乐镇、古培镇、李家塅镇、白水镇、汨罗镇、城关镇、桃林寺镇、高家坊镇、黄柏镇、弼时镇、新市镇；八景乡、三江乡、天井乡、火天乡、古仑乡、白塘乡、玉池乡、红花乡、沙溪乡、范家园乡、城郊乡、黄市乡、智峰乡、楚塘乡、新塘乡、磊石乡。
2000年第五次人口普查，汨罗市总户数19.40万户、常住总人口658867人，其中非农业户人口8.83万人，其中，城关镇38802人，汩罗镇23837人，新市镇25191人，古培镇30657人，白水镇32265人，川山坪镇26202人，高家坊镇27102人，弼时镇27573人，李家塅镇21537人，黄柏镇28392人，长乐镇27834人，大荆镇11936人，桃林寺镇23333人，城郊乡33821人，红花乡23647人，黄市乡13449人，玉池乡8444人，沙溪乡17741人，天井乡13517人，智丰乡8603人，三江乡13375人，古仓乡11329人，火天乡18933人，新塘乡14148人，白塘乡17429人，范家园乡17864人，楚塘乡20472人，磊石乡5064人，八景乡2833人，汩罗纺织印染厂7886人，屈原行政区65651人。
2000年，三江乡、范家园乡撤乡建镇。2001年，沙溪乡、楚塘乡撤乡建镇。
2002年末，汨罗市总面积1562平方千米，总人口63.87万人，其中，城镇人口19.16万人，乡村人口44.71万人。辖17个镇（城关镇、汨罗镇、新市镇、古培镇、白水镇、川山坪镇、高家坊镇、弼时镇、李家塅镇、沙溪镇、黄柏镇、长乐镇、三江镇、大荆镇、桃林寺镇、屈子祠镇、范家园镇）、12个乡（城郊乡、红花乡、黄市乡、玉池乡、天井乡、古仑乡、智峰乡、八景乡、火天乡、新塘乡、白塘乡、磊石乡），6个场圃（原种场、范家园茶场、磊石渔场、桃林林场、玉池林场、白水苗圃），1个办事处（营田办事处），辖村（居）委会413个，村（居）民小组6189个。
2004年，汨罗市辖19个镇、15个乡：城关镇、汨罗镇、新市镇、古培镇、白水镇、川山坪镇、高家坊镇、弼时镇、李家段镇、黄柏镇、长乐镇、大荆镇、桃林寺镇、三江镇、范家园镇、沙溪镇、营田镇、河市镇、屈子祠镇、城郊乡、红花乡、黄市乡、玉池乡、天井乡、智峰乡、古仑乡、火天乡、新塘乡、白塘乡、磊石乡、八景乡、黄金乡、琴棋乡、凤凰乡。其中营田镇、河市镇、黄金乡、琴棋乡、凤凰乡共2个镇、3个乡实际由屈原管理区管辖。
2009年末，汨罗市总面积1562平方千米，总人口66.5万人，辖17个镇、12个乡、2个农林渔茶场、1个办事处。
2010年第六次人口普查，汨罗市常住总人口692080人，其中，天问街道5667人，城关镇56412人，汨罗镇23352人，新市镇28072人，古培镇31141人，白水镇28213人，川山坪镇25124人，高家坊镇23630人，弼时镇24142人，李家段镇19882人，黄柏镇30001人，长乐镇28963人，大荆镇11545人，桃林寺镇27216人，三江镇15899人，范家园镇14965人，沙溪镇16393人，营田镇31749人，河市镇8762人，屈子祠镇16909人，城郊乡46173人，红花乡24333人，黄市乡14485人，玉池乡5950人，天井乡15048人，智峰乡9151人，古仑乡13062人，火天乡18578人，新塘乡10604人，白塘乡19684人，磊石乡5537人，八景乡3742人，黄金乡14418人，琴棋乡6893人，凤凰乡8964人，原种场3285人，范家园茶叶示范场2265人，营田办事处1871人。
2015年12月3日，省民政厅（湘民行发[2015]118号）批复同意：白塘乡、磊石乡成建制合并设立白塘镇；三江镇、智峰乡、八景乡成建制合并设立三江镇；大荆镇、古仑乡成建制合并设立大荆镇；红花乡、黄市乡、天井乡成建制合并设立罗江镇；桃林寺镇、火天乡、新塘乡成建制合并设立桃林寺镇；城关镇、城郊乡成建制合并设立归义镇；黄柏镇、沙溪镇成建制合并设立神鼎山镇；河市镇、黄金乡成建制合并设立河市镇；凤凰乡、琴棋乡成建制合并设立凤凰乡。屈子祠镇、范家园镇成建制合并设立屈子祠镇，将范家园茶场代管的新湖、新范2个建制村划归屈子祠镇。将原种场代管的前进、华中、大华、全民4个建制村划归白水镇管辖。李家塅镇、弼时镇成建制合并设立弼时镇，高家坊镇、川山坪镇成建制合并设立川山坪镇；撤销玉池乡建制，将其行政区域分别划入弼时镇、川山坪镇。调整后，全市辖1个街道、17个镇、1个乡：天问街道、归义镇、汨罗镇、新市镇、古培镇、白水镇、川山坪镇、弼时镇、长乐镇、大荆镇、桃林寺镇、三江镇、营田镇、河市镇、屈子祠镇、白塘镇、罗江镇、神鼎山镇、凤凰乡（其中，营田镇、河市镇、凤凰乡实际由屈原管理区管辖）。总面积1669.8平方千米，总人口73.59万人。市政府驻归义镇。