石河子因河得名。十八世纪前为过渡牧场，清代是绥来县（玛纳斯）西边的一个村镇，芦苇丛生，人烟稀少。现在石河子有称为“老街”的地方，即当年的石河子，是大路边的驿站。解放前，石河子附近聚居的人家只有20多户，四周全是戈壁滩，因村边有一条布满碎石的干河床，故取名石河子。1917年谢彬《新疆游记》：“石河子，店铺民居二十余家，为绥来乡镇第一。”此处原有一条玛纳斯河的岔流，枯水期河床裸露，石河子由此得名。
1950年2月，王震将军率中国人民解放军挺进石河子，拉动了“军垦第一犁”，开始在这里开垦建城。1953年以后成为兵团农八师的垦区中心，也是新疆解放后在万古荒原上军垦建设最早、规模最大的城市。1971年正式设石河子市，为自治区直辖市。
1975年新疆军区生产建设兵团撤销，设立石河子地区（6月）、石河子市（1976年1月），属新疆维吾尔自治区管辖。石河子地区机关驻石河子市。【1976年在原新疆生产建设兵团领导机关和兵团工二师、农八师、石河子管理处、政治干校、医专等6个师以上单位所在地设立石河子市，并成立石河子地区，时辖石河子市、玛纳斯县、沙湾县。1978年改石河子地区为石河子市，同时将玛纳斯县，沙湾县析出。】
1979年石河子地区撤销，保留石河子市；先后成立石河子农工联合企业，恢复新疆生产建设兵团农八师，机关驻石河子市。1984年9月28日自治区党委、人民政府决定农八师和石河子市实行一个党委领导、政企分设的体制。1985年6月，正式成立市人民政府。
1997年，石河子市面积460平方千米，人口55.3万，其中汉族占95％，辖向阳、老街、红山、新城、东城5个街道和石河子乡。境内有石河子总场、152团、新疆农垦科学院试验场、石河子大学试验场4个农场。市政府驻向阳街道。（根据《中国政区大典》）
2000年第五次人口普查，石河子市常住总人口590115人（包括兵团等），其中：新城街道41018人、向阳街道51825人、红山街道50042人、老街街道69038人、东城街道9601人、北泉镇52011人、石河子乡21877人、兵团152团3473人、炮台兵团121团22540人、东野地兵团122团17724人、红光集兵团132团11167人、西野地兵团133团13908人、下野地兵团134团15688人、沙门子兵团135团8531人、小拐兵团136团9804人、北野地兵团141团12328人、新安集兵团142团30110人、花园兵团143团34025人、钟家庄兵团144团16909人、十户滩兵团147团17471人、莫索湾兵团148团30827人、东古城兵团149团17967人、西古城兵团150团19005人、紫泥泉兵团151团4877人、南山煤矿4823人、南山水泥厂3526人。
2003年，全市总面积456.84平方千米，总人口622671人。辖5街道1镇1乡：向阳、老街、红山、新城、东城5个街道和北泉镇、石河子乡。市政府驻市区北三路。
2010年第六次人口普查，石河子市常住总人口380130人，其中：新城街道49387人，向阳街道64435人，红山街道66778人，老街街道71881人，东城街道53511人，北泉镇39631人，石河子乡31302人，兵团一五二团3205人。
2013年，自治区政府（新政函[2013]224号）批准同意撤销石河子乡，设立石河子镇。