周代为百越地。秦始皇三十三年（公元前214年）属南海郡，秦末为南越国地。西汉元鼎六年（公元前111年）属端溪县（县治在今德庆县）和高凉县。东晋永和七年（351年）属晋康郡和新宁郡。唐武德四年（621年）设勤州，领铜陵、富林二县。天宝元年（742年）改勤州为云浮郡。
明万历五年（1577年）置东安县。1914年改云浮县，因县境有云雾山而得名。1958年11月与新兴县合并称新云县，1959年4月新云县改称新兴县，1961年4月恢复云浮县建制。1992年9月撤县改设云浮市（县级）。
1994年4月5日，国务院批准（国函[1994]24号）同意调整肇庆市行政区划，将云浮市升格为地级市，市人民政府驻新设的云城区。云城区辖云城、高峰、河口、六都、安塘5个街道办事处和腰古、思劳、都骑、杨柳、南盛、（石达）石、茶洞、托洞、富林、镇安、白石、高村12个镇，区人民政府驻云城街道办事处。将肇庆市的新兴县、郁南县划归云浮市管辖。罗定市由省直辖（广东省批准罗定市由云浮市代管）。
1996年1月9日，民政部批准（民行批[1996]1号），设立云安县，县人民政府驻六都镇港城大道。云安县辖云浮市云城区的六都、高村、白石、镇安、富林、托洞、茶洞、南盛、（石达）石9个镇。
2000年第五次人口普查，云浮市常住总人口2152884人；其中：云城区261636人、新兴县384890人、郁南县379299人、云安县260869人、罗定市866190人。
2002年末，云浮市辖1个市辖区、3个县，代管1个县级市，10个街道（其中罗定市城东街道、城西街道是1994年经省政府批准设立，暂未实施）、66个镇，848个村委会、118个居委会。
2003年，全市共撤并乡镇11个：云城区将杨柳镇与都骑镇合并，设立都杨镇；新兴县撤销洞口、共成、船岗三镇，分别并入新城、太平、集成三镇；郁南县撤销罗顺、罗旁、大全三镇，分别并入桂圩、建城、千官三镇；云安县将茶洞与托洞合并，设立石城镇；罗定市撤销新榕、都门、新乐三镇，分别并入罗镜镇、泗纶镇和附城街道。
2005年末，云浮市辖1个市辖区、3个县，代管1个县级市，10个街道、55个镇。
2010年第六次人口普查，云浮市常住总人口2367154人，其中：云城区318145人，新兴县431635人，郁南县388732人，云安县269636人，罗定市959006人。
2012年末，云浮市总面积7779.1平方千米（其中市区面积761.8平方千米）。户籍人口286.97万人；常住人口241.65万人，其中城镇常住人口94.49万人。辖云城区、新兴县、郁南县、云安县，代管罗定市。
2014年9月9日，《国务院关于同意广东省云浮市部分行政区划调整的批复》（国函[2014]120号）：一、同意撤销云安县，设立云浮市云安区，将云浮市云城区的都杨镇划归云安区管辖，以原云安县（不含前锋镇、南盛镇）和云城区都杨镇的行政区域为云安区的行政区域，云安区人民政府驻六都镇明珠路11号。二、同意将原云安县的前锋镇、南盛镇划归云城区管辖。