因金水河流经境内而得名。解放前，辖区属郑县管辖。1948年郑州解放，郑县分为郑州市和郑县，辖区城区部分属市、农村部分属县。1953年撤销郑县，成立郊区，辖区城区部分归陇海区、二七区和建设区，农村部分属郊区。1960年4月设立金水人民公社；1961年8月改为金水区。1987年区划调整后，形成区带乡体制。是中共河南省委、河南省人民政府、黄河水利委员会及省直各厅局所在地。
1960年4月成立金水人民公社，由七一、紫荆山、人民路、杜岭、黄河路、文化区、郑纺机、岗杜、南阳新村9个街道分社和海滩寺农业分社组成。1961年8月，金水人民公社改成金水区，9个街道分社改成杜岭、人民路、花园路、经八路、文化路、南阳路、南阳新村7个街道办事处，农业分社改建成金水农业公社。
1980年成立刘寨街道办事处，1984年成立大石桥街道办事处。1987年全市进行区划调整，撤销金海区、新密区和郊区，成立邙山区。金水区刘寨街道办事处划归邙山区，原郊区的柳林乡、祭城乡、姚桥乡以及原金海区的庙李乡划归金水区。
1996年?，金水区面积242.2平方千米，人口52.9万人。辖8个街道、2个镇、3个乡：经八路街道、花园路街道、南阳路街道、南阳新村街道、文化路街道、人民路街道、杜岭街道、大石桥街道、柳林镇、祭城镇、姚桥乡、庙李乡、海滩寺乡。区政府驻文化路。
2000年5月，撤销海滩寺乡，成立丰产路街道。区划调整后，全区辖9个街道、3个镇、1个乡。同年9月，区四大班子机关由文化路106号迁至东风路16号新址办公。
2000年全国第五次人口普查，金水区总人口878308人，其中：经八路街道84585人、花园路街道53630人、人民路街道44581人、杜岭街道21617人、石桥街道33380人、南阳路街道61039人、南阳新村街道76694人、文化路街道156466人、丰产路街道104263人、祭城镇98845人、椰林镇47844人、庙李镇69519人、姚桥乡25845人。
2002年8月，设立未来路、北林路、东风路等3个街道办事处。2002年底，全区辖杜岭、人民路、花园路、文化路、南阳路、南阳新村、大石桥、丰产路、未来路、北林路、东风路、经八路等12个街道，庙李镇、柳林镇、祭城镇、姚桥乡4个乡镇，136个社区、70个行政村，175个自然村。
2005年11月，撤销姚桥乡，设立龙子湖街道办事处。2005年末，金水区辖13个街道、3个镇：花园路街道、经八路街道、南阳路街道、文化路街道、人民路街道、杜岭街道、南阳新村街道、大石桥街道、丰产路街道、东风路街道、北林路街道、未来路街道、龙子湖街道（新增），祭城镇、柳林镇、庙李镇。
2006年6月，正式撤销祭城镇，设立祭城路、凤凰台2个街道。2010年11月，将祭城路、龙子湖2个街道管辖范围内连霍高速公路以北区域的北录庄村、任庄村、马渡村、来童寨村、黄庄村、黄岗庙村、小金庄村以及连霍高速以南、京港澳高速以东区域的刘江村、马楼村、柳园口村、贾陈村、徐庄村共12个行政村整建制划出，设立兴达路街道。新成立的兴达路街道面积42.43平方千米，人口10.7万人。
区划调整后，金水区辖16个街道、2个镇：经八路街道、花园路街道、人民路街道、杜岭街街道、大石桥街道、南阳路街道、南阳新村街道、文化路街道、丰产路街道、东风路街道、北林路街道、未来路街道、龙子湖街道、祭城路街道、凤凰台街道、兴达路街道、柳林镇、庙李镇。
2011年，撤销庙李镇，设立丰庆路街道；撤销柳林镇，设立国基路街道、杨金路街道。
2003年，金水区人民政府《关于祭城镇等乡（镇）、街道办事处新建社区和部分社区更名的通知》（金政文[2003]107号）：决定新建8个社区，更名2个社区。
一、新建的社区居委会
祭城镇新建3个社区居委会。分别是：建业城市花园社区、南航花园新村社区、百合花苑社区。
未来路办事处新建4个社区居委会。分别是：公安厅社区、民航路社区、吉祥花园社区、锦江花园社区。
大石桥街道办事处新建1个社区居委会：沙口社区。
二、更名的社区居委会
庙李镇原中建七局四公司社区更名为瑞丰社区。花园路街道办事处原省电信社区更名为省通信社区。
经批准新建8个社区后，金水区有144个社区：1、花园路街道：社区11个；2、经八路街道：社区18个；3、文化路街道：社区12个；4、丰产路街道：社区19个；5、南阳路街道：社区11个；6、南阳新村街道：社区12个；7、人民路街道：社区9个；8、大石桥街道：社区9个；9、杜岭街道：社区8个；10、东风路街道：社区10个；11、北林路街道：社区10个；12、未来路街道：社区9个；13、祭城镇：社区3个；14、柳林镇：社区1个；15、庙李镇：社区2个。
2006年4月24日，郑州市人民政府办公厅《关于撤销金水区祭城镇设立祭城路街道办事处凤凰台街道办事处的通知》（郑政办文[2006]34号），经省人民政府批准，郑州市撤销金水区祭城镇，同时设立祭城路、凤凰台街道办事处。根据省民政厅《关于撤销郑州市金水区祭城镇实行城市管理体制的批复》（豫民行批[2006]8号）精神：撤销祭城镇，将其所辖区域划分为两个部分，设立祭城路、凤凰台2个街道办事处，实行城市管理体制。将祭城镇的凤凰台村、张庄村、王庄村和建业社区、英协社区、茂祥社区整建制划出，设立凤凰台街道办事处。该辖区东到东环路，西、南至管城回族区边界，北至熊儿河，面积4.5平方千米，常住人口3.2万人，流动人口4.7万人。其余19个村民委员会，包括崔庄村、白庄村、祭城村、庙李村、邢屯村、陈岗村、金庄村、贾岗村、弓庄村、魏庄村、新村、花庄村、十里铺村、八里庙村、花沟王村、花胡庄村、南录庄村、北录庄村、小郭村整建制划出，设立祭城路街道办事处。管辖区域东至祭城镇与龙子湖街道办事处边界，西至107国道、祭城镇与柳林镇边界，南与管城回族区接壤，北至祭城镇与柳林镇边界，总人口12万人，面积63平方千米。6月正式实施。
2011年4月25日，《郑州市政府关于金水区设立丰庆路等3个街道办事处的批复》：撤销金水区庙李镇、柳林镇，实行城市管理体制，同时设立丰庆路、国基路和杨金路3个街道办事处。原庙李镇常住人口3.8万人、柳林镇常住人口4.9万人。设立的丰庆路街道办事处，以庙李镇行政区域为丰庆路街道办事处管辖区域。设立的国基路街道办事处，以柳林镇中州大道以西区域为国基路街道办事处管辖区域，辖柳林村、沙门村、刘庄村、路寨村、高皇寨村、杓袁村6个行政村及二十一世纪、新田、风雅颂3个社区居委会。设立的杨金路街道办事处，以柳林镇中州大道以东区域为杨金路街道办事处管辖区域，辖马头岗村、唐庄、安庄、王马庄村、徐庄村、马林村、新庄村、周庄村、河村、小贺庄村、杨槐村、大贺庄村12个行政村。