辽置东京道绿州，明属奴儿干都司建州女真地。清光绪三年（1877）设猫儿山（今临江）巡检，属通化县。光绪二十八年（1902年）析通化县红石砬子以东地置临江县，治猫儿山，属吉林副都统辖区兴京厅；设八道江巡检，属通化县（1908年划归临江县）。1907年属奉天省兴京厅。
1913年属奉天省东路道，1915年置八道江分防县佐。1932年属奉天省。东北沦陷时期，1934年属伪安东省，1937年属伪通化省。1945年划归安东省通化专署所辖。1946年划归辽宁省。1949年属辽东省通化专区。1954年8月属吉林省通化专区。
1959年3月23日，吉林省委批准撤销临江县，设立浑江市。1960年1月7日，国务院批准浑江市府驻八道江镇，隶属通化地区。1985年2月4日，国务院批复（国函字17号）同意浑江市升格为地级市，并将通化地区的抚松、靖宇2县和长白朝鲜族自治县划归浑江市管辖。
1986年9月8日，国务院批准设立浑江市八道江区、临江区、三岔河区。1992年9月1日，民政部批复（民行批[1992]95号）同意撤销浑江市临江区，设立临江县。1993年11月28日，民政部批复（民行批[1993]237号）同意撤销临江县，设立临江市。
1994年1月31日，国务院（国函[1994]8号）批复同意将浑江市更名为白山市；4月，浑江市正式更名为白山市。1995年12月30日，国务院批准撤销白山市三岔子区，设立江源县。白山市辖临江市、靖宇县、抚松县、江源县、长白朝鲜族自治县和八道江区，市政府驻八道江区。
1996年，白山市面积17916平方千米，人口约127.7万人，市政府驻八道江，辖八道江区及抚松、靖宇、长白、江源4县，代管临江1个县级市。2000年第五次全国人口普查，白山市总人口1312362人，其中：八道江区335400人、抚松县306736人、靖宇县141120人、长白朝鲜族自治县84667人、江源县259538人、临江市184901人。
2003年末，全市总人口为132.91万人。其中，农业人口44.98万人，占总人口比重为33.8%；非农业人口87.93万人，占总人口比重为66.2%。面积17852平方千米，市区面积1388平方千米。辖6个县（市）区，45个镇、20个乡、9个乡级街道办事处。
2006年6月5日，国务院（国函[2006]44号）批准：同意撤销吉林省江源县，恢复设立白山市江源区，以原江源县的行政区域为江源区的行政区域。区政府驻孙家堡子镇。至此，白山市辖2个市辖区、2个县、1个自治县，代管1个县级市。
2000年以来部分乡镇调整情况
2000年12月22日，经省政府批准，吉林省民政厅下发吉民行批[2000]12号文件，对江源县行政区划作如下调整：撤销大石棚子乡、榆木桥子乡，将其所辖行政区域划归石人镇管辖。撤销大石人乡，设立大石人镇，将原石人镇管辖的光环街道办事处划归大石人镇管辖。乡镇合并、乡改镇后，镇政府驻地不变。