玉树古为西羌牦牛种地。隋朝前后为苏毗和多弥二国辖区，唐时为吐番的孙波如，宋时为黎州属下的囊谦小邦之地，元朝归吐蕃等路宣慰司管辖，明朝囊谦五室的贵族僧侣屡被赐号为功德自在宣抚国师；明末清初玉树各部头人为青海蒙古和硕特部赠爵为诸台吉；清朝受青海办事大臣直接管辖，为囊谦千户领地，下有百户独立长等部落，民国时期设置玉树、囊谦、称多3县，统由玉树行政督督察专员公署管辖，县之下千百户制度因袭如故。
1949年10月，青海省人民解放军军政委员会驻玉树特派员办公处成立。1949年设玉树专区，专署驻玉树县。辖玉树（驻结古）、称多（驻周均）、囊谦（驻香达）3县。1951年12月25日玉树专区改为玉树藏族自治区，辖称多、囊谦2县；撤销玉树县建制。1952年恢复玉树县建制，由玉树藏族自治区领导。玉树藏族自治区辖3县。1953年由玉树、囊谦2县西部地区合并设置扎朵县；辖4县。1954年原扎朵县改为杂多县（驻于玉日本）；由玉树县部分地区设治多县（驻加吉博洛格）；原由省直辖的曲麻莱区改设曲麻莱县，划入玉树藏族自治区；辖6县。
1955年玉树藏族自治区改设玉树藏族自治州，自治州人民委员会驻玉树县；辖玉树、囊谦、称多、杂多、曲麻莱、治多等6县。1959年以玉树、囊谦、杂多、治多4县部分地区设置江南县（在长江南岸，驻甘宁生多）；以称多、治多2县部分地区设置天河县（在长江北岸，驻卡隆云）；辖8县。1960年江南县驻地由江南甘宁生多迁驻节综地区。1962年，撤销江南县，并入玉树县；撤销天河县，并入称多、曲麻莱2县；玉树藏族自治州辖玉树（驻结古）、称多（驻周均）、囊谦（驻香达）、杂多（驻于玉日本）、治多（驻加吉博洛格）、曲麻莱（驻色吾沟）等6县。1977年曲麻莱县由色吾沟迁驻野仓滩；玉树藏族自治州辖玉树（驻结古）、称多（驻周均）、囊谦（驻香达）、杂多（驻于玉日本）、治多（驻加吉博洛格）、曲麻莱（驻野仓滩）等6县。
1999年末，玉树藏族自治州面积197791平方千米，人口252696人（根据青海省志），其中藏族约占95％以上。辖玉树、杂多、称多、治多、囊谦、曲麻莱6县，共有1个镇、47个乡，257个村（牧）委会。
2000年第五次全国人口普查，玉树州总人口262661人。其中：玉树县77854人、杂多县38654人、称多县40391人、治多县24194人、囊谦县57387人、曲麻莱县24181人。
2001年10月15日青海省人民政府青政函[2001]99号文批复：①撤销囊谦县香达乡，设立香达镇。②撤销治多县当江乡，设立加吉博洛镇（镇政府驻地迁至县政府驻地加吉博洛格）。③撤销曲麻莱县东风乡，设立约改镇（镇政府驻地迁至县政府驻地约改滩）。④撤销杂多县结扎乡，设立萨呼腾镇（镇政府驻地迁至县政府驻地萨呼腾）；撤销旦荣、查当两乡，合并设立查旦乡（乡政府驻地设在原旦荣乡址）。⑤撤销称多县赛河、称文两乡，合并设立称文镇（镇政府驻地设在原称文乡址）；撤销歇武乡设立歇武镇；撤销扎朵乡设立扎朵镇；撤销清水河乡设立清水河镇。⑥撤销玉树县哈秀、结隆两乡，合并设立隆宝镇（镇政府驻地设在原结隆乡址）。
2006年8月，玉树州新增2个镇，由10镇35乡调整为12镇33乡，乡镇总数（45个）保持不变。玉树县撤销下拉秀乡，设立下拉秀镇。称多县撤销珍秦乡，设立珍秦镇。
2013年7月3日，《民政部关于同意青海省撤销玉树县设立县级玉树市的批复》（民函〔2013〕219号）：经国务院批准，同意撤销玉树县，设立县级玉树市，以原玉树县的行政区域为玉树市的行政区域。玉树市人民政府驻结古镇结古大道199号。玉树市由玉树藏族自治州管辖。11月1日，玉树市正式挂牌成立。