春秋战国，属乌氏戎国和义渠戎国。西汉元鼎三年（前114）析北地郡置安定郡，治高平（今原州区）。南北朝先后为北魏、西魏、北周属地。北魏太延二年（436）置高平镇，正光五年（524）改镇置原州。隋废原州置平凉郡。唐广德年间没于吐蕃。宋朝属镇戎军、怀德军、德顺军和西安州。金升军为州，有镇戎州和德顺州，废怀德军和西安州。
元朝设开城路，开城州和广安州，明置固原州。民国时有固原县、海原县、西吉县、隆德县、化平县。1949年10月，固原县、隆德县、化平县（1950年更名为泾源县）属甘肃省平凉专区，西吉县、海原县属定西专区。1950年，西吉、海原两县属平凉专区。
1953年设西海固回族自治区，属甘肃省，自治区人民政府驻固原县，原属甘肃省平凉专区的固原、西吉、海原（驻海城）3县划归西海固回族自治区；改泾源县为泾源回族自治区。1955年西海固回族自治区改称固原回族自治州，自治州人民委员会驻固原县，辖固原、西吉、海原3县；泾源回族自治区改称泾源回族自治县。隆德县、泾源回族自治县仍属平凉专区。
1958年撤销固原回族自治州，设立固原专区，专署驻固原县。原固原回族自治州所属固原、西吉、海原（驻海城）3县和原属平凉专区的隆德县及泾源回族自治县划归宁夏回族自治区；撤销泾源回族自治县，改设泾源县。固原专区辖5县。
1970年固原专区改称固原地区。1983年7月，从固原县析置彭阳县。2002年撤销固原地区，设立地级固原市，辖原州区、西吉县、海原县、隆德县、泾源县、彭阳县。2004年将海原县划归中卫市管辖。
2000年第五次人口普查，固原地区常住总人口1727361人，其中，固原县470741人，海原县343960人，西吉县403209人，隆德县197160人，泾源县81310人，彭阳县230981人。
2001年7月7日，《国务院关于同意宁夏回族自治区撤销固原地区设立地级固原市的批复》（国函〔2001〕80号）：一、同意撤销固原地区和固原县，设立地级固原市。市人民政府驻新设立的原州区。二、固原市设立原州区，以原固原县的行政区域为原州区的行政区域。区人民政府驻政府街。三、固原市辖原固原地区的西吉县、海原县、隆德县、泾源县、彭阳县和新设立的原州区。2002年7月6日，地级固原市正式挂牌成立。
2003年2月，自治区政府批复同意将原州区的什字路镇、大湾乡、蒿店乡划归泾源县。2003年12月31日，国务院（国函〔2003〕139号）批复同意将固原市的海原县划归中卫市管辖（2004年6月实施）。
2005年末，固原市辖西吉县、隆德县、泾源县、彭阳县和原州区。共有1个街道、65个乡镇，27个居委会、1047个行政村。
2008年，宁夏回族自治区政府先后批复同意：将固原市原州区的黑城镇划归海原县管辖，将固原市原州区的七营镇、甘城乡划归海原县管辖。
2009年7月，固原市政府批准将原州区所属的1个街道重新划分为3个街道，居委会由15个调整为23个。
2010年第六次人口普查，固原市常住总人口1228156人，其中，原州区411854人，西吉县354321人，隆德县160754人，泾源县101026人，彭阳县200201人。
2012年末，全市共有4个街道、62个乡镇，38个居委会、891个行政村。