南雄春秋时为百越地，战国属楚，秦属南海郡，两汉为南野县，三国时属吴国南野县卢陵郡。唐光宅元年（684年）析始兴县地置浈昌县。南汉乾亨四年在浈昌县置雄州，辖浈昌、始兴县。宋开宝四年（971年）改为南雄州。元朝为南雄路。明洪武元年置南雄府。清嘉庆十二年改为南雄直隶州。民国时（1912年）改为南雄县，隶属广东省。1996年6月17日，民政部批复（民行批[1996]46号）撤销南雄县，设立南雄市（县级）。
1996年，南雄市面积2469平方千米，人口约50万人。辖24个镇：雄州镇、百顺镇、澜河镇、帽子峰镇、全安镇、苍石镇、古市镇、主田镇、黎口镇、珠玑镇、梅岭镇、邓坊镇、湖口镇、黄坑镇、孔江镇、乌迳镇、大塘镇、油山镇、新龙镇、坪田镇、界址镇、江头镇、水口镇、南亩镇。县政府驻雄州镇。
2000年第五次人口普查，南雄市常住总人口372844人，其中：乌迳镇26303人、孔江镇6509人、新龙镇10087人、界址镇9975人、坪田镇8832人、黄坑镇19652人、邓坊镇9533人、油山镇7712人、大塘镇17727人、南亩镇11340人、水口镇17427人、江头镇8462人、湖口镇26516人、珠玑镇26055人、梅岭镇7081人、主田镇10465人、古市镇16503人、黎口镇18912人、全安镇16878人、苍石镇3363人、百顺镇9997人、澜河镇7796人、帽子峰镇7187人、雄州镇68532人。
？年，撤销孔江镇，并入乌迳镇；撤销新龙镇，并入坪田镇；撤销苍石镇，并入全安镇；撤销大塘镇、油山镇，合并设立新的油山镇，并将原油山镇的茶头背、上湖、兰田等村划入邓坊镇。调整后，南雄市辖20个镇。
2005年1月26日，广东省民政厅（粤民区[2005]8号）批准撤销梅岭镇，并入珠玑镇；撤销黎口镇，并入雄州镇（注：6月上旬实施）。7月6日，广东省民政厅（粤民区[2005]35号）批准撤销雄州镇，设立雄州街道。调整后，南雄市辖雄州街道和珠玑、湖口、黄坑、乌迳、界址、水口、古市、百顺、澜河、邓坊、油山、南亩、坪田、江头、主田、全安、帽子峰17个镇。
2008年末，南雄市户籍总人口464126人，其中非农业人口84355人。2009年末，南雄市辖1个街道、17个镇，24个居委会、208个行政村。市政府驻雄州街道。
2010年第六次人口普查，南雄市常住总人口316179人，其中：雄州街道105358人，乌迳镇27850人，界址镇8219人，坪田镇12955人，黄坑镇15997人，邓坊镇9210人，油山镇17437人，南亩镇8942人，水口镇11426人，江头镇6861人，湖口镇17294人，珠玑镇23764人，主田镇5781人，古市镇11919人，全安镇14898人，百顺镇7281人，澜河镇5951人，帽子峰镇4899人，南雄市精细化工基地137人。
2011年末，南雄市总面积2361.4平方千米，常住人口32.02万人；户籍人口473469人，其中农业人口367187人。辖17个镇、1个街道，232个村（居）。
2014年，珠玑镇被列为全国重点镇。