南朝设光城县，因有浮光山，“每有光耀”故名。浮光山又名光山，隋朝改名为光山县。春秋为弦国地，战国属楚。西汉置西阳县。南朝宋元嘉二十五年（448）置光城县，同年并置乐安县。隋开皇三年（583）光城县并入乐安县。开皇十八年（598）析置光山县。
1996年?，光山县面积1831平方千米，人口74.9万人，辖8个镇、17个乡：城关镇、孙铁铺镇、泼陂河镇、砖桥镇、白雀镇、马畈镇、十里庙镇、寨河镇、文殊乡、雷堂乡、凉亭乡、北向店乡、卧龙台乡、南王岗乡、晏河乡、斛山乡、场墩乡、南向店乡、蔡桥乡、仙居乡、槐店乡、长兴镇乡、罗陈乡、殷棚乡、河棚乡。县政府驻城关镇。
2000年第五次人口普查，光山县总人口649578人，其中：城关镇94664人、十里镇27422人、寨河镇38756人、孙铁铺镇28339人、马畈镇33994人、泼陂河镇45255人、白雀镇31225人、砖桥镇23346人、卧龙台乡18810人、仙居乡19473人、长兴镇乡11683人、北向店乡25315人、罗陈乡22961人、杨墩乡17798人、殷棚乡12051人、南向店乡25667人、晏河乡26121人、河棚乡12805人、凉亭乡18987人、雷堂乡14086人、斛山乡20324人、槐店乡29836人、蔡桥乡17550人、文殊乡21405人、南王岗乡11705人。
2005年，光山县乡镇区划调整：共有15个符合撤并条件的乡镇，按省最后批复的方案，撤销河棚乡，将其行政区域划归晏河乡管辖，晏河乡政府驻地不变；撤销卧龙台乡，将其行政区域划归孙铁铺镇管辖，孙铁铺镇政府驻地不变；撤销雷堂乡，将其行政区域划归白雀园镇管辖，白雀园镇政府驻地不变；撤销长兴镇乡，将其行政区域划归仙居乡管辖，仙居乡政府驻地不变；撤销蔡桥乡，将其行政区域划归斛山乡管辖，斛山乡政府驻地不变；撤销南王岗乡，将其行政区域划归文殊乡管辖，文殊乡政府驻地不变；撤销杨墩乡，将其行政区域划归城关镇管辖，城关镇政府驻地不变，并在此基础上组建两个办事处。同时，保留了殷棚、十里、砖桥、凉亭、罗陈等5个人口不足3万、面积不足100平方千米，但经济发展势头好，区域、资源等条件较为特殊的乡镇。撤并后，光山县辖2个街道、7个镇、10个乡：弦山街道、紫水街道；孙铁铺镇、泼陂河镇、白雀镇、十里庙镇、马畈镇、砖桥镇、寨河镇；晏河乡、槐店乡、殷棚乡、文殊乡、仙居乡、北向店乡、南向店乡、罗陈乡、斛山乡、凉亭乡。