市名得自境内额仁淖尔盐地。“二连”系“额仁”的不同译音，意为有花纹的。“浩特”，蒙语，意为城市。“二连浩特”意为“位于斑斓地带的城市”。春秋时为林胡所居。战国、秦为匈奴地。后汉时乌桓、鲜卑入居，隋唐突厥徙牧于此。辽属托州地，金为蒙古各部落游牧之地，元属中书省上都路，北元属察哈尔部苏尼特鄂托克。清崇德七年开始属苏尼特右旗，嘉庆二十五年（1820年）在二连盐池西北坡设立“伊林”驿站。光绪十五年（1899年），清廷架通了库仑（乌兰巴托）－张家口一线的电话线，又设电报局，并将该地标入了当时出版的地图集，名曰“二连”。民国七年（1918年）二连盐池成为张家口至库仑汽车运输线上的一个站点，站名“滂北”。
二连浩特市是随着集宁-二连国际铁路的建设而建立。1956年1月，北京－乌兰巴托－莫斯科国际铁路联运线开通，以二连车站为中心的建筑群变成为二连浩特的雏形。1956年4月，锡林郭勒公署决定成立二连镇，隶属苏尼特右旗。1957年7月，内蒙古自治区人民委员会决定二连镇升格为准县级，改名“二连浩特”，隶属锡林郭勒盟。1966年1月，国务院批准设立二连浩特市。1969年12月内蒙古自治区革委会决定，二连浩特市划归乌兰察布盟管辖。1980年5月重新划回锡林郭勒盟。1985年1月，自治区人民政府决定将二连浩特升格为准地级市；1985年6月，国务正式批准二连浩特市为甲类开放城市；1986年3月，自治区政府批准二连为计划单列市。1992年7月，国务院批准二连为全国13个沿边对外开放城市之一。
1996年?，二连浩特市面积167平方千米，人口1.3万人。辖3个街道。乌兰街道：市府驻辖区内。“乌兰”系蒙古语译音，意为“红色”。1983年设置。面积1.5平方千米，人口0.8万人，辖白音、巴达拉乎、呼格吉勒3个居委会。东城街道：1994年设置。面积2平方千米，人口0.4万人，辖团结、石化、前进、满都拉4个居委会。辖区内有二连火车站。锡林街道：锡林”系蒙古语译音，意为“丘陵”。1994年设置。面积2平方千米，人口0.3万人，辖朝阳、迎宾、友谊3个居委会。（根据《政区大典》）
2000年第五次人口普查，二连浩特市总人口47025人，其中：二连浩特市街道14494人，锡林虚拟街道21778人，京城虚拟街道10753人。
2000年，二连浩特市地处东经111°53′-112°14′、北纬43°22′-43°45′。边境线长19.7千米。辖3个街道，11个居委会。常住人口16170人，暂住人口26752人，人口密度为35.9人/平方千米。2001年，二连浩特市有3个街道，11个居委会，1个国营农场。总人口56743人，其中暂住人口39725人，常住人口17018人；汉族43603人，蒙古族12648人，回族65人，满族350人，朝鲜族18人，达斡尔族42人，鄂温克族4人，羌族5人，其他少数民族8人；人口密度为350.3人/平方千米。（《内蒙古年鉴》）
2003年，将苏尼特右旗的格日勒图敖都苏木（苏吉嘎查、陶力嘎查、额尔登高毕嘎查）和苏尼特右旗额淖尔苏木的呼格吉勒图雅嘎查划归二连浩特市管辖。全市辖乌兰、东城、锡林3个街道和格日勒图敖都苏木，总面积由原来的162平方千米扩大到4015.1平方千米。与蒙古国边境线长67.88千米。牧业人口1249人，赛乌素农场住户人口905人。城市建设面积12平方千米，草场面积3900平方千米。
2006年，二连市面积4015.1平方千米，城区面积18.2平方千米。辖3个街道、格日勒敖都苏木和赛乌素科技园区，14个社区、4个嘎查和1个生态移民区。总人口90719人，其中户籍人口24008人，人口密度为26人/平方千米。
2009年末，二连浩特市面积4015.1平方千米，城区面积27平方千米。辖3个街道、1个苏木、1个科技园区，14个居委会、4个嘎查、1个移民区。总人口89914人，比上年末减少3670人。常住人口71786人，其中二连户籍人口25989人；流动人口18128人。格苏木1828人，赛乌素科技园区186人。
2012年2月，二连浩特市撤销3个街道，成立社区建设管理办公室，将14个社区整合为8个新社区，由“市—街道—社区”三级管理变为“市直管社区”。3月16日，《二连浩特市人民政府办公厅关于市友谊等8个社区更名的通知》（二政办发[2012]23号）：友谊社区更名为东城社区；兴安社区更名为西城社区；朝阳社区更名为南苑社区；那仁社区更名为北疆社区；前进社区更名为锡林社区；建设社区更名为额仁社区；迎宾社区更名为呼和社区；满都拉社区更名为乌兰社区。