西周、春秋、战国时为巩伯国。秦庄襄王元年（前249）置巩县。巩县以“山河四塞、巩固不拔”而得名。宋景德四年（1007）改永安县，金改芝田县，元代复名巩县。
建国后，巩义隶属郑州专署，1955年1月改属开封专署，1983年8月复属郑州市。1964年9月巩县驻地由站街迁至孝义。1991年6月经国务院批准，撤销巩县，设立巩义市。即取巩县孝义之意。
1996年?，巩义市面积1041平方千米，人口75万人。辖17镇1乡：孝义镇、米河镇、小关镇、大峪沟镇、站街道、西村镇、芝田镇、涉村镇、竹林镇、回郭镇、新中镇、河洛镇、南河渡镇、康店镇、北山口镇、鲁庄镇、夹津口镇、核桃园乡。市政府驻孝义镇。
2000年，巩义市辖1个街道、18个镇。第五次人口普查，巩义市总人口777202人，其中：新华街道87683人、米河镇49858人、新中镇21073人、小关镇38666人、竹林镇6308人、大峪沟镇42928人、河洛镇21448人、站街镇32857人、南河渡镇21255人、康店镇46814人、孝义镇42401人、北山口镇44315人、西村镇59840人、芝田镇50551人、回郭镇83092人、鲁庄镇63568人、夹津口镇26141人、涉村镇27220人、桃园镇11184人。
2003年，撤销孝义镇，调整北山口、站街、芝田等3镇部分行政区划，设立新华路等5个街道。2004年4月12日，郑州市人民政府《关于巩义市嵩山路街道办事处更名的批复》（郑政文[2004]77号）批准同意将嵩山路街道办事处更名为紫荆路街道办事处。调整后，巩义市辖5个街道、16个镇：孝义街道、新华路街道、永安路街道、紫荆路街道、杜甫路街道；米河镇、新中镇、小关镇、竹林镇、大峪沟镇、河洛镇、站街镇、南河渡镇、康店镇、北山口镇、西村镇、鲁庄镇、芝田镇、回郭镇、涉村镇、夹津口镇。共有290个行政村。
2005年11月25日，巩义市人民政府《关于乡镇行政区划调整的通知》：按照《郑州市人民政府办公厅关于中牟县等十县市区乡镇行政区划调整的通知》（郑政办[2005]40号）要求，对巩义市乡镇行政区划进行调整。（1）撤销河洛镇、南河渡镇，新设置河洛镇，辖原河洛镇、南河渡镇的行政区域，镇政府驻石关村。原南河渡镇辖12个行政村，127个村民小组，总人口22325人，行政区划面积59.71平方千米；原河洛镇辖17个行政村，129个村民小组，总人口25185人，行政区划面积71.84平方千米；新设置的河洛镇，共辖29个行政村，256个村民小组，总人口47510人，区划面积131.55平方千米。（2）撤销桃园镇，将其行政区域划归涉村镇管辖，涉村镇政府驻地不变。原桃园镇辖14个行政村，67个村民小组，总人口11553人，行政区划面积41.12平方千米；原涉村镇辖15个行政村，118个村民小组，总人口29722人，行政区划面积62.19平方千米；桃园镇划归涉村镇后，涉村镇辖29个行政村，185个村民小组，总人口41275人，区划面积103.31平方千米。2005年末，巩义市辖5个街道、15个镇：新华路街道、杜甫路街道、嵩山路街道、永安路街道、孝义街道；回郭镇、站街镇、涉村镇、米河镇、小关镇、鲁庄镇、大峪沟镇、西村镇、芝田镇、北山口镇、新中镇、夹津口镇、康店镇、竹林镇、河洛镇。