开远古称阿迷，1932年改称开远，意在“四面伸开，连接广远”。开远境地古为阿宁蛮。夏商周时属古畹町国范围。先秦时期属滇国领地。西汉元封二年（公元前109），在今开远至建水一带设毋棳县，隶益州郡，始有建置。东汉属益州益州郡。蜀汉建汉三年（225）后称西丰县，属益州兴古郡。西晋复称毋棳县，隶宁州兴古郡。东晋至南朝梁隶宁州梁水郡。北朝周隶南宁州。隋属南宁州总管府。唐初属剑南道戎州，唐南诏国为爨部地，隶通海都督。宋大理国在今开远置最宁镇，辖哈迷（阿宁、阿迷）部，纳楼部，铁锁甸、大甸、七十城门甸、褒古部、王弄部、教合三部、矣尼迦部、维摩部、钟家部11地，相当于今开远、丘北、砚山、文山、富宁、马关、河口、屏边、蒙自、个旧、金平、元阳、建水一带范围。
元宪宗七年（1257）置阿迷万户府于开远，辖纳楼、茶甸两个千户所。至元二年（1265）改属南路。至元十三年（1276）撤阿迷万户府，置阿迷州。大德三年（1299）改隶临安路。明洪武十五年（1382）置阿迷州，辖4乡，属临安府；永历二年（1648）更名开远州，后复名阿迷州。清初袭明制，阿迷州属临安府。清雍正八年（1730）7月，临安府属迤东道；乾隆三十一年（1766）10月，临安府属迤南道；光绪十三年（1887）10月，临安府属临安开广道。民国二年（1913）4月，废州改县，称阿迷县，辖东、南、西、北、中5个区，隶蒙自道。民国18年（1929）废道，直隶云南省。民国20年（1931）12月，改阿迷县称开远县，辖8个区，意在“四面伸开，连接广远”。民国37年（1948），属云南省第五行政督察区（驻建水县）。
1950年，开远县辖6个区，隶蒙自专区。1957年，开远县划归红河州。1958年10月20日，国务院全体会议第81次会议决定：撤销开远县，将原开远县的六区全部和七区的4个乡、五区的1个乡划归文山县，其余地区划归个旧市（国务院9月16日批准，省人委10月3日通知）。设开远公社（原一、二区）、五星公社（原五、七区）、燎原公社（原三区、七区的左美底乡和蒙自草坝），隶个旧市。1959年2月成立人民公社开远联社，为政社合一组织，辖开远、布沼、五星、大庄、草坝五个公社，隶个旧市。
1960年9月13日国务院全体会议第103次会议通过：恢复原并入个旧市并撤销的开远县建制，其行政区域仍照原撤并前不变，开远县由个旧市领导。开远县辖5个公社。次年，草坝公社划归蒙自县。1961年2月14日，国务院批复：将原由个旧领导的开远县划归红河哈尼族彝族自治州直接领导。辖城关、开远、中寨、小龙潭、大庄5个公社及马者哨、中和营、吉德、宗舍4个区。1981年1月18日，国务院批准：撤销开远县，设立（县级）开远市，以原开远县的行政区域为开远市的行政区域；11月18日，开远市正式成立，辖5乡3处，隶红河州。
1996年，开远市面积1950平方千米，人口约25.1万人，其中汉族占总人口的44%，彝族占32.3%。辖3个街道、5个乡：乐白街道、灵泉街道、小龙潭街道、马者哨乡、羊街乡、大庄回族乡、中和营乡、碑格乡。市政府驻乐白道街道。
2000年第五次人口普查，开远市常住总人口292039人，其中：乐百道街道66953人，灵泉街道91993人，小龙潭街道31746人，大庄回族乡18291人，羊街乡34049人，马者哨乡9721人，中和营乡24770人，碑格乡14516人。
2005年10月13日，省政府批准同意开远市撤销中和营乡和马者哨乡，设立中和营镇，镇政府驻原中和营乡政府驻地。2006年3月16日，省政府批准同意开远市将小龙潭街道办事处改设为小龙潭镇，镇政府驻原小龙潭办事处驻地。
2006年，开远市总面积2009平方千米，总人口31.59万人。辖1个街道、2个镇、3个乡（其中1个民族乡）：灵泉街道、小龙潭镇、中和营镇、大庄回族乡、羊街乡、碑格乡。共有21个居委会、51个行政村。
2010年第六次人口普查，开远市常住总人口322693人，其中：乐白道街道96691人，灵泉街道91413人，中和营镇37708人，小龙潭镇24986人，大庄回族乡19453人，羊街乡36653人，碑格乡15789人。
全市现辖2个街道、2个镇、3个乡（其中1个民族乡）：乐百道街道、灵泉街道、中和营镇、小龙潭镇、大庄回族乡、羊街乡、碑格乡。2014年，中和营镇被列为全国重点镇。