石嘴山，俗称石嘴子，因贺兰山至此，山石突出似嘴而得名。1956年，国家决定大规模开发石嘴山丰富的煤炭资源。1958年，宁夏回族自治区成立，报请国务院撤县（惠农县）建市。1959年4月20日，宁夏回族自治区向国务院上报《关于撤销惠农县，成立石嘴山市的请示报告》。1960年1月7日，国务院第93次全体会议正式决定“设立石嘴山市，撤销惠农县，将原惠农县的石嘴山等10个乡（镇）划归石嘴山市的行政区域，其余地区划归平罗县”。
1960年3月26日，石嘴山市第一次人民代表大会召开，会上正式宣布成立石嘴山市，驻石嘴山，当时石嘴山市辖石嘴山镇（区级）与尾闸、黄渠桥、宝丰3个公社。1960年4月，石嘴山镇改建为2个区，组建南街、北街2个城市人民公社，2个公社为一套人马、两块牌子。5月，调整公社规模，市郊3个公社划小为8个公社（尾闸公社划分为尾闸、下营子2个公社；将黄渠桥公社划分为黄渠桥、燕子墩、西永固3个公社；将宝丰公社划分为宝丰、庙台、礼和3个公社。1962年5月，南街、北街2个区合并为市辖城区。
1963年5月，国营园艺农场变为集体所有，称为园艺公社。7月，将黄渠桥、宝丰2个公社划归平罗县管辖；平罗县的大武口镇（驻石炭井）和大武口公社划归石嘴山市。至此，石嘴山市辖城区1区、大武口镇1镇和尾闸、下营子、燕子墩、西永固、庙台、礼和、园艺、大武口等8个公社。1968年，大武口镇驻地迁到大武口，在石炭井设置石炭井街道办事处，为大武口镇的派出机构。1970年10月，将石炭井从大武口镇划出，撤销石炭井街道办事处，改置为石嘴山市辖石炭井区，驻石炭井。
1972年，设置宁夏回族自治区银北地区，地区机关驻大武口镇，石嘴山市归属银北地区。1973年大武口镇升格为区。石嘴山下辖第一区（驻大武口）、第二区（驻石嘴山）和第三区（驻石炭井）。1975年，将大武口公社和园艺公社分别划归大武口区和石嘴山区管辖；同时组建了市直属公社领导小组，管辖其余6个公社。1976年，撤销市直属公社领导小组，设置石嘴山市郊区，管辖尾闸、下营子、燕子墩、西永固、庙台、礼和等6个公社。1979年将大武口区的的大武口公社、石嘴山区的园艺2公社划归郊区管辖。
1981年，三个区以驻地更名，即大武口、石嘴山、石炭井3个区；市驻地迁到大武口。石嘴山市除管辖3个区、8个公社外，还管辖平罗、陶乐2县。1983年，郊区各公社改称为乡。1987年，撤销石嘴山市郊区，恢复惠农县。原郊区所辖的大武口乡及园艺乡的沿环村，分别划归大武口区和石嘴山区管辖；惠农县辖7个乡。【以上主要根据《宁夏现代政区变迁沿革》（冯茂著，宁夏人民出版社，1998年9月第1版），部分有改动】
2000年第五次人口普查，石嘴山市常住总人口675378人，其中，大武口区133168人，石嘴山区120739人，石炭井区60389人，平罗县257445人，陶乐县29138人，惠农县74499人。
2002年10月19日，国务院（国函〔2002〕96号）批复同意调整石嘴山市部分行政区划：（1）撤销石嘴山市石炭井区，划归大武口区管辖。（2）将平罗县的隆湖吊庄乡及崇岗乡的长胜、九泉、潮湖3个村划归大武口区管辖。
2003年12月31日，国务院（国函〔2003〕139号）批复同意：（1）撤销石嘴山市惠农县和石嘴山区，设立石嘴山市惠农区，以原惠农县和石嘴山区的行政区域为惠农区的行政区域。区人民政府驻北大街。（2）撤销石嘴山市陶乐县。将原陶乐县的红崖子乡、高仁乡、马太沟镇划归平罗县管辖，月牙湖乡划归银川市兴庆区管辖。
2010年第六次人口普查，石嘴山市常住总人口725482人，其中，大武口区286669人，惠农区185803人，平罗县253010人。