春秋属吴、越、楚，秦时属九江郡。西汉高祖六年（公元前201年）置建城县，属豫章郡。东汉中平年间（184-189年）汝南（今河南）上蔡百姓迁到此地，置上蔡县。西晋太康元年（280年）改为望蔡县。南北朝梁（502-557年）属豫章王国。隋开皇九年（589年）望蔡县并入建城县，属洪州。唐中和年间（881-884年）置上高镇，以其地在高安上游故名。宋白曰，以地形高上而名也。
南唐昇元初（937年）置上高场，保大十年（952年）置上高县，属筠州。明洪武二年（1369年）属瑞州府。1914年属庐陵道，1926年属江西省第八行政区。1949年7月14日，上高解放，属袁州专区，1952年9月属南昌专区，1958年12月属宜春专区，1968年2月属宜春地区，2001年属宜春市。
1985年4月18日，设立敖山、上甘山、大庙、墨山乡（赣府厅字[1985]230号）。1985年4月21日，设置徐家渡、田心镇（赣府厅字[1985]236号）。1997年8月18日，撤销泗溪乡、锦江乡，设立泗溪镇、锦江镇；撤销末山乡，设立镇建制，并更名为思泉铺镇（赣民字[1997]174号批复）。
1996年，上高县面积1350.5平方千米，人口约32万人。辖6个镇、11个乡：敖阳镇、田心镇、徐家渡镇、锦江镇、思泉铺镇、泗溪镇、镇渡乡、芦洲乡、翰堂乡、南港乡、大庙乡、蒙山乡、新界埠乡、上甘山乡、塔下乡、敖山乡、野市乡。县政府驻敖阳镇。
1998年12月7日，撤销南港乡，设立南港镇（赣民字[1998]221号批复）。2000年2月25日，撤销翰堂乡，设立翰堂镇（赣民字[2000]38号批复）。至此，全县辖8个镇、9个乡。
2000年第五次人口普查，上高县常住总人口334535人，其中，敖阳镇64380人、田心镇37736人、徐家渡镇27016人、锦江镇28185人、翰堂镇20267人、南港镇13946人、泗溪镇38530人、思泉铺镇8433人、芦洲乡15340人、塔下乡7678人、蒙山乡15033人、野市乡8770人、新界埠乡19866人、镇渡乡9974人、大庙乡4545人、上甘山乡5728人、敖山乡9108人。
2002年末，上高县辖8个镇、9个乡，10个居委会、190个行政村。
2003年8月19日，撤销敖阳镇建制，设立敖阳街道办事处；撤销敖山乡，成建制划归野市乡管辖；撤销大庙乡，成建制划归南港镇管辖；撤销思泉铺镇，成建制划归田心镇管辖（赣民字[2003]193号批复）。2003年9月4日，撤销上甘山乡，成建制划归塔下乡管辖（赣民字[2003]214号批复）。2003年末，全县总人口33.7万人，辖1个街道、6个镇、6个乡。
2005年12月13日，《关于上高县调整部分行政区域的批复》（赣民字[2005]150号）：同意将敖阳街道办事处所辖的五马、何家垴行政村划归锦江镇管辖。2005年末，全县总人口345975人，其中非农业人口11.1万人。2006年末，全县总人口346303人。
2008年1月，设立敖山镇。
2010年第六次人口普查，上高县常住总人口326697人，其中，敖阳街道89004人，田心镇35506人，徐家渡镇21821人，锦江镇31339人，泗溪镇32091人，翰堂镇15990人，南港镇12721人，敖山镇8267人，芦洲乡12588人，塔下乡9963人，蒙山乡12323人，镇渡乡9904人，野市乡7106人，新界埠乡16520人，上高县工业园区4736人，墨山垦殖场5488人，上甘山林场1330人。
2012?年，撤销新界埠乡，设立新界埠镇。2013年，设立墨山乡（赣民字〔2013〕140号），辖思泉、果园新村、界港、香山、坑林、石水6个村委会和思泉铺居委会，乡政府驻思泉铺居委会；撤销蒙山乡，设立蒙山镇（赣民字〔2013〕154号）。