县名因地下蕴藏丰富宝藏而得名。可可托海系哈萨克语，意为绿色的丛林。一说，可可托海系突厥语“蓝色河弯”。又名库额尔齐斯（哈萨克语，意为没有树林的额尔齐斯）。
汉代为匈奴地，隋唐属西突厥。元代为蒙古诸王封地。清代属科布多参赞大臣管辖，1907年科布多与阿尔泰分治，改属阿尔泰办事大臣管辖。民国8年（1919年）属阿山道布伦托海县佐。1937年由布伦托海县（今福海县）析置可可托海设治局。1941年升为县，称富蕴县，县治可可托海。1959年县党政机关迁至库额尔齐斯。
1984年设库额尔齐斯镇。1997年，富蕴县辖2个镇、6个乡：库额尔齐斯镇、可可托海镇、吐尔洪乡、喀拉通克乡、库尔特乡、杜热乡、喀拉布勒根乡、铁买克乡。
2000年第五次人口普查，富蕴县常住总人口80986人，其中：库额尔齐斯镇16279人、可可托海镇6011人、吐尔洪乡15946人、杜热乡11959人、库尔特乡10478人、喀拉通克乡8006人、铁买克乡4149人、喀拉布勒根乡4806人、喀拉通克铜镍矿3352人。
2003年，富蕴县总面积32327平方千米，总人口82855人，辖3镇6乡：库额尔齐斯镇、可可托海镇、恰库尔图镇、吐尔洪乡、喀拉通克乡、库尔特乡、喀拉布勒根乡、杜热乡、铁买克乡。县政府驻额尔齐斯镇。2008年，喀拉通克乡更名为克孜勒希力克乡。
2010年第六次人口普查，富蕴县常住总人口87886人，其中：库额尔齐斯镇19772人，可可托海镇5120人，恰库尔图镇2567人，吐尔洪乡14143人，杜热乡15253人，库尔特乡10093人，克孜勒希力克乡11077人，铁买克乡4600人，喀拉布勒根乡5261人。
2012年，自治区政府（新政函[2012]83号）同意设立喀拉通克镇，喀拉通克镇行政区域面积303.3平方公里，将克孜勒希力克乡174.7平方公里和吐尔洪乡128.6平方公里划归喀拉通克镇。镇政府驻地设在铜镍矿西侧。
2014年，自治区政府（新政函[2014]10号）同意撤销杜热乡，设立杜热镇。至此，全县辖5个镇、5个乡：库额尔齐斯镇、可可托海镇、恰库尔图镇、喀拉通克镇、杜热镇、吐尔洪乡、库尔特乡、克孜勒希力克乡、铁买克乡、喀拉布勒根乡。