克拉玛依，系维吾尔语“黑油”的音译，得名于市区附近的一座天然沥青丘——黑油山。1955年10月29日黑油山第一口油井喷油，当时取名为克拉玛依油田，是新中国成立后开发的第一个大油田。建市前，独山子镇为新疆维吾尔自治区人民委员会直接领导的县级建制镇，其余各地均为邻县辖区。其中乌尔禾属于和布克赛尔县；大、中、小拐属沙湾县，克拉玛依地区属托里县。
1957年1月24日，新疆维吾尔自治区人民委员会第14次会议决定设立克拉玛依市。1958年5月29日，国务院批准设立克拉玛依市（县级）；同年7月25日，克拉玛依市召开第一届人民代表大会第一次会议，宣告克拉玛依市成立。1958年克拉玛依设市后，行政区域包括克拉玛依、独山子、六十户、乌尔禾、百口泉、红山嘴、前山捞坝、白碱滩、小拐、中拐、大拐等地区，下设独山子和乌尔禾两个区；撤销独山子镇人民委员会建制。
1982年2月16日，自治区人民政府批准克拉玛依市为设区的地（州）级市，下设克拉玛依、独山子、白碱滩、乌尔禾4个区。1984年8月17日，自治区决定克拉玛依市为直辖的不设区的县级市，下辖街道办事处和乡、镇。1990年1月8日，自治区恢复克拉玛依市为地级市。
1997年，全市总人口（不含新疆生产建设兵团人口）254560人。其中汉族人口占总人数的76.5%；少数民族人口占23.5%。
1999年4月，克拉玛依市下设克拉玛依、独山子、乌尔禾、白碱滩4个区，乌尔禾、小拐2个乡和胜利路、昆仑路、天山路、银河路、金龙镇、五五新镇、金山路、西宁路、北村、中兴路、三平镇、百口泉等街道。
2000年第五次人口普查，克拉玛依市常住总人口270232人。其中：独山子区50732人、克拉玛依区145452人、白碱滩区64297人、乌尔禾区9751人。
2003年，全市总面积9500平方千米，总人口261118人，辖4个区，即独山子区、克拉玛依区、白碱滩区、乌尔禾区。市政府驻克拉玛依区。
2010年第六次人口普查，克拉玛依市常住总人口391008人，其中：独山子区69361人，克拉玛依区261445人，白碱滩区50422人，乌尔禾区9780人。