古为羌地。汉元始四年（公元4年），王莽在今海晏县三角城设置“西海郡”，辖海晏、刚察等地区。后因王莽篡政纷乱，郡邑废弃。东汉永元十四年（102年），复置“西海郡”（以上见《西宁府新志》）。晋和十六国时（265-420年），设置西平郡，海北州属西秦、北凉、南凉统治（见《甘肃通志稿》）。
隋大业五年（609年），炀帝击败吐谷浑伏允主力后，又设置“西海郡”，郡治多至伏俟城，海晏、刚察仍属期管辖（见隋书）。唐贞观五年（631年），设置米川县，辖门源地区。咸亨三年（672年），徒吐谷浑诺曷钵于浩门水南。广德元年（763年），徒蕃占据青海，海北州属其域（以上见《甘肃通志稿》）。元朝设吐蕃等处宣慰司都元帅府，海北州归其管辖。明洪武八年（1378年），设安定、阿瑞二卫。海北州在二卫辖境。
正德四年（1509年），蒙古族和硕特部落固始汗自新疆入青海，统一了蒙古族分编为5部29旗。其中，海北地区有11旗，置于青海钦差大臣（驻西宁）管辖之下。同时，筑起了大通（今门源县城）、白塔（今大通县城关镇）、永安（门源县城西北55千米处）3城，在今门源县城设“大通卫”，辖永安营和白塔营，属西宁府管辖。清乾隆九年（公元1744年）迁卫于白塔。清乾二十六年（1761年）改卫为县治。
民国十八年（1929年）青海建省后，先后置亹源县、祁连设治局、海晏设治局（后改设海晏县），均由省直辖。1929年，划达坂山以北设置门源县，祁连地区和原属西宁府的仙米、珠固划归门源县。1939年，设祁连设治局。1943年，海晏建县。刚察为教兰理事辖区。
1949年海北解放，成立亹源县政府，1950年至1952年成立海晏县、刚察行政委员会、祁连自治区。1953年12月31日设立海北藏族自治区，辖亹源回族自治区（驻浩亹镇）、祁连县（原祁连自治区改设，驻八宝寺）、刚察县（原刚察区改设，驻沙柳河）、海晏县（原海晏县藏族自治区恢复为县，驻三角城），自治区人民政府驻亹源县浩亹镇。1955年，海北藏族自治区改设海北藏族自治州，亹源回族自治区改设亹源回族自治县。
1993年7月州政府驻地迁至海晏县西海镇。1995年1月11日，国务院批复（国函[1995]2号）同意海北藏族自治州人民政府驻地由门源回族自治县浩门镇迁至海晏县原二二一厂基地（即西海镇）。
1996年，海北州面积4.5万平方千米，人口约24.9万人，以汉族为多，有回、藏、蒙古、土等少数民族，其中回族占总人口的26％，藏族占21％。辖海晏、祁连、刚察、门源4县。州府驻海晏县西海镇。（根据《政区大典》）
1999年末，海北藏族自治州面积34706平方千米，人口259395人（根据青海省志），其中农业人口19.82万人。辖4县（门源、祁连、刚察、海晏县），3场（托勒牧场、青海湖农场、同宝牧场），34个乡镇（其中，牧业乡19个，镇政府3个）。
2000年第五次全国人口普查，海北州总人口258922人。其中：门源县141426人、祁连县45394人、海晏县32879人、刚察县39223人。
2001年3月5日青海省人民政府青政函[2001]15号文批复：①撤销祁连县多隆、默勒2乡，合并设立默勒镇；撤销峨堡乡，设立峨堡镇。②撤销门源县东川、克图2乡，合并设立东川镇；撤销旱台、泉沟台2乡，合并设立并命名为泉口镇（镇政府驻地设在原旱台乡）；撤销大滩乡，并入青石嘴镇。③撤销海晏县银滩乡，设立并命名为三角城镇（镇政府驻地设在原银滩乡）。④撤销刚察县沙柳河乡，设立沙柳河镇。2001年底，全州辖10个镇、18个乡、3个民族乡，6个居委会、206个村（牧）委会。
2003年全州总人口为27万人。2004年7月，刚察县区划调整：撤销哈尔盖乡，设立热水镇。
2006年8月，海北州乡镇总数由32个（11镇21乡）调整为30个（11镇19乡）。海晏县撤销甘子河乡、托勒蒙古族乡，合并设立达玉蒙古族乡（乡政府驻原甘子河乡驻地）。祁连县撤销柯柯里乡，并入野牛沟乡。刚察县热水镇更名为哈尔盖镇。