“菏泽”原系天然古泽，为“菏山”和“雷泽”简称。西周为曹、贯、黎、郜等国地，战国置陶郡。秦分属东郡、碣郡，西汉建元三年置济阴郡、治定陶。北魏析置北济阴郡，治单父，隋复并为济阴郡。唐武德初改郡为曹州，北宋崇宁初升为兴仁府，金天会八年复为曹州。明洪武四年降曹州为县，正统十一年复置曹州。清雍正十三年（1735年），曹州升为府，设附郭县，赐名菏泽，以古泽薮而得名。
1949年3月，华北人民政府决定将冀鲁豫第二、三、五、七专区分别更名为临河、湖西、鲁西南、运西专区；8月，平原省建立，临河、鲁西南及运西的一部分合并为菏泽专区，与湖西专区同属平原省人民政府。1952年11月，中央人民政府批准撤销平原省建制，菏泽、湖西两专区划归山东省。1953年7月20日，中央人民政府批准山东省撤销湖西专区，其所辖县分别归菏泽专区（成武、巨野二县）、济宁专区。
1958年11月12日，国务院批准撤销菏泽专区建制，所属各县划归济宁专区。1959年6月，恢复菏泽专区，辖区如旧。1967年3月，改菏泽专区为菏泽地区。1996年，菏泽地区面积1.2万平方千米，人口约820万人，其中汉族占99%以上，地区行政公署驻菏泽市，辖荷泽市和鄄城、东明、郓城、巨野、单县、成武、定陶、曹县8县。
2000年6月23日，国务院批准，撤销菏泽地区和县级菏泽市，设立地级菏泽市。菏泽市设立牡丹区，以原县级菏泽市的行政区域为牡丹区的行政区域。菏泽市辖原菏泽地区的鄄城县、单县、郓城县、曹县、定陶县、巨野县、东明县、成武县和新设立的牡丹区（1区8县）。2001年1月8日地级菏泽市正式挂牌成立。
2016年1月7日，《国务院关于同意山东省调整菏泽市部分行政区划的批复》（国函〔2016〕7号）：同意撤销定陶县，设立菏泽市定陶区，以原定陶县的行政区域为定陶区的行政区域，定陶区人民政府驻天中街道陶朱公大街939号。【3月31日《山东省人民政府关于调整菏泽市部分行政区划的通知》（鲁政字〔2016〕68号）】【定陶区政府于4月29日正式挂牌成立】