春秋时北为匈奴与东胡居住地，南部分属燕国、代国。秦时南部改属代郡、上谷郡。汉时分属乌桓、匈奴、鲜卑。隋时东为涿郡，西属雁门郡。唐时多属河北道妫州、新州，少属河东道蔚州。北宋时为武州、蔚州、奉圣州、归化州、儒州、妫州地。南宋时皆属辽。元属中书省上都路宣德府，西北部置兴和路（治今张北）。明始筑张家口堡，相传因其北七里有东太平山与太平山，两山相距数百步，对峙如门；又因该城堡为指挥张文所筑，故名。
明为延庆州、保安州、云州、蔚州及万全都指挥使司十二卫、所地。清时北属口北三厅（多伦诺尔厅、独石口厅、张家口厅），南属宣化府（治今宣化）。民国二年（1913年）属直隶省察哈尔特别区口北道。民国十七年（1928年）设察哈尔省，张家口为省会。民国二十八年（1939年）初设立张家口特别市。1952年12月察哈尔省建制撤销，察南、察北两专区合并后称张家口专区，划归河北省，张家口市为河北省直辖，并为专区治所。
1958年5月张家口市改属张家口专区。1959年5月撤销张家口专区，所辖各县划归张家口市。1961年5月复置张家口专区，张家口市及所属各县隶属之。1967年12月，张家口专区改称张家口地区，辖张家口市，县属不变。1983年11月，张家口市改为河北省直辖市。1993年7月1日，张家口地、市合并，称张家口市。
1996年，张家口市面积36873平方千米，人口约434.5万人。市政府驻桥西区长青路。辖桥东、桥西、宣化、下花园4区及沽源、尚义、张北、崇礼、万全、怀安、阳原、蔚县、宣化、涿鹿、怀来、赤城、康保13县。
2000年第五次人口普查，张家口市常住总人口4191035人，其中：桥东区281044人、桥西区237049人、宣化区317121人、下花园区68134人、宣化县291878人、张北县297741人、康保县226461人、沽源县177143人、尚义县157766人、蔚县447059人、阳原县257496人、怀安县224710人、万全县207403人、怀来县323387人、涿鹿县326101人、赤城县242181人、崇礼县108361人。。
2003年末，全市面积36965平方千米，人口450万人，其中城区819平方千米、85.55万人。2004年末，全市共有1个区公所，23个街道、89个镇、120个乡（其中2个民族乡），298个居委会、4177个行政村。
2010年第六次人口普查，张家口市常住总人口4345485人，其中：桥东区339372人，桥西区287900人，宣化区370569人，下花园区62764人，宣化县273506人，张北县318669人，康保县204975人，沽源县174619人，尚义县151639人，蔚县450236人，阳原县258086人，怀安县210914人，万全县211706人，怀来县352307人，涿鹿县333932人，赤城县238169人，崇礼县106122人。
2016年1月7日，《国务院关于同意河北省调整张家口市部分行政区划的批复》（国函〔2016〕5号）：一、同意撤销张家口市宣化区和宣化县，设立新的张家口市宣化区，以原宣化区和宣化县的行政区域（不含沙岭子镇、大仓盖镇、姚家房镇、东望山乡）为新的宣化区的行政区域，宣化区人民政府驻建国街街道永安街8号。二、同意撤销万全县，设立张家口市万全区，以原万全县的行政区域为万全区的行政区域，万全区人民政府驻孔家庄镇民主街2号。三、同意撤销崇礼县，设立张家口市崇礼区，以原崇礼县的行政区域为崇礼区的行政区域，崇礼区人民政府驻西湾子镇长青路30号。四、同意将原宣化县的大仓盖镇、东望山乡划归张家口市桥东区管辖，将原宣化县的沙岭子镇、姚家房镇划归张家口市桥西区管辖。【宣化区政府于2月15日正式挂牌成立，万全区政府于1月28日正式挂牌成立，崇礼区政府于2月2日正式挂牌成立】