春秋时期为申国地（今高店乡所在地有可能是江国故城）。汉代始置黾（鄳）县。南朝宋置宝城县，齐改保城县。北朝齐改高安县。隋开皇十六年（596年）置罗山县，因山得名，罗山在县城十里。1949年3月解放后属潢州专署，1952年属信阳地区。
1949年夏，全县划为7个区：城关区、楠杆区、竹河区、莽张区、涩港区、彭新区、周党区；区下辖67个乡。1950年8月，城关区改为城关镇，下辖3个街；从周党、彭新两区中各划出一部分增设定远区。1951年，全县改为10个区：城关区、河口区、竹竿区、莽张区、周党区、定远区、彭新区、涩港区、楠杆区、子路区，区下辖196个乡（镇）。1952年，竹竿区改为庙仙区。
1983年7月，改公社为乡、大队为村，村在原大队的基础上有所调整。1987年2月，周党乡撤乡建镇。1991年11月，从原涩港乡分离出朱堂乡。1994年4月，竹竿乡撤乡建镇。1995年2月，楠杆乡撤乡建镇；1996年3月，涩港乡撤乡建镇；1996年5月，子路乡撤乡建镇；1996年12月，青山乡撤乡建镇。
1996年?，罗山县面积2065平方千米，人口69.7万人，辖7个镇、12个乡：城关镇、周党镇、竹竿镇、楠杆镇、涩港镇、子路镇、青山镇、龙山乡、庙仙乡、莽张乡、定远乡、山店乡、潘新乡、彭新乡、铁铺乡、朱堂乡、高店乡、龙店乡、东铺乡。县政府驻城关镇。
2000年8月，彭新乡撤乡建镇。2000年11月，潘新乡撤乡建镇。调整后，罗山县辖9个镇、10个乡：城关镇、周党镇、楠杆镇、竹竿镇、青山镇、子路镇、灵山镇、彭新镇、潘新镇、龙山乡、高店乡、尤店乡、东铺乡、莽张乡、庙仙乡、朱堂乡、铁铺乡、山店乡、定远乡。
2000年第五次人口普查，罗山县总人口574100人，其中：城关镇47912人、周党镇40406人、竹竿镇40272人、涩港镇16657人、子路镇38177人、楠杆镇34400人、青山镇22145人、潘新镇25127人、彭新镇29979人、龙山乡43806人、东铺乡35241人、庙仙乡28052人、莽张乡33401人、定远乡24003人、山店乡16126人、铁铺乡11924人、朱堂乡21458人、尤店乡26121人、高店乡32377人、河南省五一农场6516人。
2004年10月，涩港镇更名为灵山镇。调整后，全县辖9个镇、10个乡：城关镇、周党镇、竹竿镇、涩港镇、子路镇、楠杆镇、青山镇、潘新镇、彭新镇、龙山乡、东铺乡、庙仙乡、莽张乡、定远乡、山店乡、铁铺乡、朱堂乡、尤店乡、高店乡。
2009年9月16日，莽张乡撤乡建镇。2010年初，全县辖19个乡镇，共有286个村，其中有10个镇：城关镇、莽张镇、竹竿镇、楠杆镇、青山镇、子路镇、周党镇、彭新镇、灵山镇、潘新镇。有9个乡：东卜乡、尤店乡、高店乡、朱堂乡、铁卜乡、山店乡、定远乡、庙仙乡、龙山乡。
2011年，东铺乡撤乡建镇。调整后，全县辖11个镇、8个乡：城关镇、周党镇、竹竿镇、灵山镇、子路镇、楠杆镇、青山镇、潘新镇、彭新镇、东铺镇、龙山乡、庙仙乡、莽张乡、定远乡、山店乡、铁铺乡、朱堂乡、尤店乡、高店乡。