图木舒克，维吾尔语，“鸟的嘴”，“突出的一角”。原名“吐木休克”，古波斯语，意思不详。1969年建场，为兵团农三师52团场驻地。2002年9月17日国务院正式下发了国函[2002]81号“批准新疆图木舒克为自治区直辖县级市的批复”。
公元75年，东汉班超率吏士36人赴西域，曾在图木舒克山麓磐橐城（即托库孜萨来古城，汉语称为九宫殿，后称为唐王城）驻守17年。解放后，1950年，巴楚全县设六区，图木休克区为三区。1958年，图木休克区改为图木休克公社。1960年，自治区农垦厅在图木休克区建立图木休克总场（又称巴楚总场）。1965年，图木休克公社并入图木休克总场。1969年，图木休克总场及其分场、小海子水库及水库管理处等划归农三师建制。1975年，农三师建制撤消，图木休克总场划归喀什地区革委会农垦局。1982年，恢复农三师建制。后经建制的变迁，农三师辖三个灌区和两个山地牧场，图木休克所在地即为原小海子灌区。
1997年中央为进一步加强新疆生产建设兵团工作，下发中发[1997]17号文件，批准在农三师图木休克垦区（即小海子灌区）设立图木舒克市，为自治区直辖县级市。2002年9月17日，国务院下发《国务院关于同意新疆维吾尔自治区设立县级图木舒克市的批复》（国函[2002]82号）：同意设立县级图木舒克市，市政府驻齐干却勒。图木舒克市行政区域界线走向为：自东经79°29′00〞、北纬40°05′50〞起，向东南至东经79°34′30〞、北纬40°00′40〞，折向南偏东南至东经79°36′30〞、北纬39°54′00〞，折向西南经东经79°33′00〞、北纬39°51′30〞再折向西，经1082、1091、1087、1088米高程点、阿不根河、叶尔羌河北侧、达板山南侧、49团6连南侧、小海子水库库外引水渠南侧至东经78°43′29〞、北纬39°39′06〞，沿小海子水库5亿立方米库容淹没线以外150米至北坝，顺北坝外侧水渠向东北方向经水工团1连北部折向南，沿麻扎尔山西侧、南侧、东南侧山脚至公路，沿公路向北至东经78°52′10〞、北纬39°45′38〞，界线大体向北偏东北经东经78°54′15〞、北纬39°46′50〞、甘木里克河、永安坝水库西侧和西北侧、乌库麻扎山山脚、1100米高程点、宝尔塔哈山脚1116米高程点，再折向东略偏北，经1098米三角点至起点。
2002年11月29日至12月3日，图木舒克市召开第一届人民代表大会第一次会议。2003年12月30日，自治区人民政府下发《关于设立图木舒克市（县级）有关问题的通知》（新政发[2003]86号）。2004年1月19日，图木舒克市正式挂牌成立。总面积1927.17平方千米，总人口12万人。辖44团场、49团场、50团场、51团场、52团场、53团场以及工建集团、小海子水管处、原种场。市政府驻齐干却勒。
2010年第六次人口普查，图木舒克市常住总人口135727人，其中：前海街道4425人，永安坝街道2321人，兵团四十四团26511人，兵团四十九团14687人，兵团五十团18355人，兵团五十一团43736人，兵团五十三团21423人，喀拉拜勒镇3456人，永安坝813人。
2014年，自治区政府（新政函[2014]176号）批复同意设立草湖镇。