长白朝鲜族自治县的名称，是沿袭当年设长白府时，以县域北部的长白山而得名的。“长白山”的名称，历史上曾有过多次变化。远在夏周以前，长白山称为不咸山，“不咸”是蒙古语，音“不尔干”，即神巫，是“此山有神在”的意思。汉朝时叫单单大岭，《后汉东夷列传·七十五》载“昭帝始元五年，元搜徒句骊，自单单大岭以东，沃沮秽，悉属乐浪………”“单单与满州语珊延相近，即长白山”（载自《满州源流考·按》）。魏称盖马大山，后魏又称为徒太山、太白山。南北朝称为从太山。唐朝称为太白山。金代始称长白山。《元一统志·开元路》载“长白山在会宁县南六十里。”《明一统志》载“长白山在三万卫东北千余里，横亘千里”。满语称长白山为“果勒敏珊延阿林”，“果勒敏”满语是“长”的意思，“珊延”是“白”的意思，“阿林”是“山”的意思。因山顶每年都有八、九个月白雪皑皑，故而得名。
秦属辽东郡外徼。西汉初属苍海郡，后为乐浪郡（一说玄菟郡西盖马县）。东汉至唐初属高句丽，后属渤海国西京鸭绿府丰州。辽属东丹国，后属定安国东京道渌州长白山部，鸭渌江女真大王府。金属上京路会宁府曷懒路。元属辽阳中书行省开元路。明朝属奴尔干都司建州卫（一说温火卫）地。清初属奉吉两省荒徼，后属兴京府。因县内长白山为女真发祥地，1677年（清康熙十六年）至1877年（光绪三年）被划为封禁之地。1877年属通化县。1902年（光绪二十八年）属临江县。清光绪三十四年（1908年）九月十一日清廷批准设长白府，治十八道沟、十九道沟之间的塔甸地方（今长白镇），同时筹设安图、抚松两县。1909年（宣统元年）宣布正式办公；十一月至次年四月，安图、抚松两县也先后设治，归长白府治公所管辖。1911年（宣统三年）长白府由试办改为署理。1912年属奉天省东边道。1913年（民国二年）改长白府为长白县，直属奉天省。1929年属辽宁省。东北沦陷初期，1932年属伪奉天省东边道，1934年改属伪安东省，1937年改属伪通化省。
1945年9月，长白县划归冀热辽区辽吉办事处第四专区。1945年12月25日，长白县解放，改属安东省通化专区。1946年1月23日，改归吉辽省通化分省管辖。1946年春，长白县成立人民政府，划归安东省通化专区管辖，驻长白镇。7月，划归辽宁省通化专区，又改为辽宁省第一专区。1947年1月，长白县改为辽宁省直辖县；6月复归辽宁省第一专区。1948年2月11日，撤销第一专区，长白县改为省辖县；6月21日划归安东省管辖。1948年7月，划归安东省通化专区。1949年2月，改归辽东省管辖；4月划归辽东省通化专区。1952年6月归辽东省直辖。1954年7月23日划归吉林省通化专区。1958年5月29日，经国务院批准，撤销长白县，设立长白朝鲜族自治县；9月15日正式成立自治县。1985年4月1日，划归浑江市（1994年4月1日更名为白山市）管辖。
1908年设长白府，将临江县以东的长生堡、庆生堡划归长白府。府治区域西起葫芦套，东至石乙水、圣水渠、葡萄河、鸭绿江；西北与临江县为邻；北与抚松、安图地方接壤。同时将两堡所属34个村镇划为四段管理：第一段有长生堡的塔甸、温厚社、良善社、恭顺社、梨沟镇（梨树沟）、小梨沟镇（小梨树沟）、万宝岗、南涧头（南尖头）、癸恩社；第二段有长生堡的西砬缝、东砬缝（梨田洞）、壬皇社、金华镇（半截沟）、辛裕社；第三段有庆生堡的丰乐园、庚顺社、已恭社、景和乡、下隈子（十三道沟下隈子）、戊雨社；第四段有庆生堡的拉拉岗子（十三道湾上下）、套裤带（十三道湾以下）、背阴亭、丁春社、孤山子、二股流（下二股流）、金厂、小南川、丙望社、乙农社、小蛤蚂川、大蛤蚂川、甲华社、葫芦套。
1914年将临江县荣生堡的界碑岭（今八道沟）左一带划入长白县，以八道沟河与临江分界；7月调整区划设警区，全县划为4个区：第一区驻县街，辖城乡附近一带及十九道沟以上至长白山东南与安图、抚松及韩国交界处；第二区驻金华镇，辖十八道沟至十六道沟；第三区驻三圣屯，辖十五道沟至十道沟；第四区驻八道沟，辖九道沟、八道沟及该沟里龙华冈、嘉鱼河一带。