克山一带，清代，属布特哈游牧地，清末添设民官，归讷河直隶厅管辖。1915年（民国四年）3月18日，黑龙江巡按使公署“饬开”，于讷河县属三站地方设置克山设治局，隶属龙江道管辖。设治员薛翘如于3月19日在省城启用关防，衙署初设二克山（因治所附近有双山对峙，俗称“克尔克图山”），因山得名。同年8月2日批准，改设克山县，列三等县，后将县署移驻三站（亦称察霍镇，今克山县城）【克山县原境内有座突兀耸立的死火山，其形状如城闕，称二克山（现在克东县城北），县名来源于此】。
1929年2月，裁撤龙江道，改由省直辖。同年3月，由二等县升为一等县；11月，将二克山一带划出设置克东设治局。东北沦陷后，初隶黑龙江省，1934年12月划归龙江省管辖。1939年6月，划归新设之北安省管辖。1945年“九三”抗日战争胜利后，隶属黑龙江省管辖。1951年7月，中央人民政府政务院颁布市、县等级，克山县为丙等县。1954年8月，松江、黑龙江两省合并后，由省直辖。1956年3月，划归嫩江专区管辖。1960年5月至1961年10月，嫩江专区一度撤销时，曾归齐齐哈尔市领导。1985年1月，嫩江地区正式撤销，划归齐齐哈尔市领导。
1992年末，克山县位于黑龙江省中部偏西，小兴安岭西麓，松嫩平原北缘。县境东靠克东县，南与拜泉县、依安县毗连，西和西北与讷河市接壤，东北与德都县为邻。全境南北长最大距离79.9千米，东西宽最大距离67.7千米，总面积3186平方千米。总人口47.4万人，其中非农业人口10万人；满、蒙古、达斡尔等少数民族人口约占2%。辖17个乡镇。县政府驻地克山镇。（以上摘自《黑龙江省志·地名录》，有改动）
1996年，克山县辖6个镇、11个乡：克山镇、古城镇、西河镇、西城镇、北联镇、北兴镇、河南乡、双河乡、滨河乡、河北乡、古北乡、酉联乡、发展乡、西建乡、涌泉乡、向华乡、曙光乡。
2000年第五次人口普查，克山县总人口450687人，其中：克山镇81901人，古城镇29216人，西河镇24570人，西城镇25033人，北联镇21689人，北兴镇26370人，河南乡26287人，双河乡14984人，滨河乡15921人，河北乡25966人，古北乡21863人，西联乡22273人，发展乡21562人，西建乡19228人，向华乡14018人，涌泉乡15906人，曙光乡20877人，克山农场23023人。
2003年，撤销涌泉乡，将其行政区域划归向华乡管辖，乡政府驻庆功村（黑民区[2003]108号）。克山县现辖6个镇、9个乡：克山镇、北兴镇、西城镇、古城镇、北联镇、西河镇、河南乡、双河乡、河北乡、古北乡、西联乡、发展乡、西建乡、向华乡、曙光乡。