春秋战国时期，郑、韩先后在新郑建都，长达500多年。秦汉时期，郑州地区始置荥阳、巩、京、新郑等县。之后，历代先后在郑州地区设置荥阳郡、北豫州、荥州等。隋开皇三年（公元583年）将荥州改为郑州。隋开皇十六年（公元596年）置管州治所。管城作为郑州、管州州治，成为郑州地区政治、经济中心。北宋建都汴京后，郑州属京畿路，崇宁四年（公元1105年），建为西辅，成为宋代四辅郡之一。明初，郑州划归开封府。清代，郑州为两次升为直隶州。
1929年至于1931年郑州曾一度废县设市。1949年设郑州市，由河南省直辖。1954年河南省人民政府由开封市迁驻郑州市。1958年原属开封专区的新郑、密县、登封、巩县（驻东站镇）、荥阳等5县交由郑州市领导。1961年将新郑、密县、登封、巩县、荥阳5县划归开封专区。1971年开封地区所属荥阳县交由郑州市领导。
2000年第五次全国人口普查，郑州市总人口6656759人；中原区578400人、二七区557300人、管城回族区345513人、金水区878308人、上街区77014人、邙山区149852人、中牟县673058人、巩义市777202人、荥阳市619840人、新密市779014人、新郑市609173人、登封市609085人。
2003年12月25日，民政部批准（民函[2003]270号）：将郑州市的邙山区更名为惠济区。2003年末，全市总面积7446.2平方千米，其中市区面积1010.3平方千米，建成区面积212.4平方千米；全市总人口697.7万人，中心城区人口320万（数据根据“郑州市政府网站”）。
2004年7月，将荥阳市峡窝镇整建制划归上街区管辖。按照《河南省民政厅关于调整郑州市上街区和荥阳市行政区划的批复》（豫民行批[2004]4号），荥阳市峡窝镇整建制划归上街区管辖。行政区划调整后，上街区人口由调整前的8.6万人增加到12万人。
2004年末，全市总面积7446.2平方千米，其中市区面积1010.3平方千米，建成区面积243.3平方千米；全市总人口708.2万人，其中城镇人口411.1万人，乡村人口297.1万人；非农业人口257.6万。
2005年末，郑州市辖6个市辖区、1个县，代管5个县级市；全市共有70个街道、71个镇、24个乡。