“格尔木”（又作高鲁木斯、郭里峁、噶尔穆）是蒙古语译音，意为“河流密集的地方”“河流众多”。古为羌地，自东晋至清历属吐谷浑、威定县、吐蕃王国、角厮罗政权、吐蕃等处宣慰司、曲先卫、钦差办理青海蒙古番子事务大臣。
民国十八年（1929年）青海建省后属都兰县、通新设置局。1953年12月原都兰县郭里峁哈萨克族自治区改称阿尔顿曲克哈萨克族自治区（驻格尔木，相当于区级）。1956年成立噶尔穆临时工委（一说：1956年3月1日成立了格尔木工作委员会，为县级领导机构）。
1960年11月17日国务院全体会议第105次会议批准设格尔木市（撤销格尔木工作委员会，以原格尔木工作委员会的部分地区设立格尔木市）。1964年，撤销唐古拉山工作委员会（原驻温泉，1959年迁驻托托河沿），并入格尔木市。
1965年3月27日，撤销格尔木市，改设格尔木县。1980年6月14日复设格尔木市。格尔木市仍隶属海西蒙古藏族自治州管辖，为副地级市。1992年设立省计划单列市。
1980年6月14日改县建市后，设立3个街道办事处。1988年底共有7个基层政权机构，即昆仑路、金峰路、河西3个办事处和唐古拉山、乌图美仁、大格勒、郭勒木德4个乡，24个居民委员会和28个村（牧）民委员会。1992年成立格尔木昆仑经济开发区（2002年升格时隶属格尔木市管理）。1999年末，面积12.4万平方千米，人口90173人（根据青海省志），辖3个街道、4个乡。
2000年第五次人口普查，格尔木市总人口135897人，其中：昆仑路街道38214人，金峰路街道26567人，河西街道27417人，郭勒木德乡15771人，大格勒乡2106人，乌图美仁乡1808人，唐古拉山乡1880人，格尔木铁路12249人，格尔木农场9883人。
2001年8月9日，青海省人民政府青政函[2001]81号文批复：格尔木市设立东城行政委员会、西城行政委员会和察尔汗行政委员会作为市人民政府的派出机构。与此同时，青政函[1997]21号文件停止执行。
2002年增设了两个街道（黄河路街道、西藏路街道），三个副县级工行委（东城区工行委、西城区工行委、察尔汗工行委）。格尔木市共有24个社区、38个村（牧）民委员会。2003年末总人口10.7万人。
2005年，格尔木市调整乡镇行政区划：撤销郭勒木德乡，设立郭勒木德镇，镇政府驻地和镇区行政区划范围不变，实行镇管村体制。2、撤销唐古拉山乡，设立唐古拉山镇，镇政府驻地和镇区行政区划范围不变，实行镇管村体制。