九江之名始见于《禹贡》：荆州，“九江孔殷”、“九江纳锡大龟”。九江称谓的来历有两种，一是“九”为古代中国人认为的最大数字，“九江”的意思是“众水汇集的地方”，“九”是虚指；二是“以为湖汉九水（即赣江水、鄱水、余水、修水、淦水、盱水、蜀水、南水、彭水）入彭蠡泽也”，即九条江河汇集的地方，“九”是实指。
九江作为行政区划最早出现在秦代，秦始皇划天下为三十六郡，就有九江郡。此后九江又有江 州、柴桑、浔阳、汝南、湓城、德化等古称，但主要以九江、柴桑、浔阳、江州著称于世。春秋时为吴楚之地。战国属楚。秦属九江郡。汉为豫章郡柴桑、彭泽、艾、海昏、历陵、鄡阳县地。晋永兴元年（304年）析庐江郡、武昌郡置寻阳郡，初治寻阳县，咸康中移治柴桑县，属江州。南朝梁末析豫章郡别置豫宁郡，属高州，寻阳郡改属西江州。陈天嘉四年废高州，旋省西江州，寻阳、豫宁2郡仍属江州。隋开皇九年（589年）罢郡置江州，大业三年改江州为九江郡。
唐武德四年（621年）复称江州，贞观初属江南道，开元二十一年属江南西道，天宝元年江州改称浔阳郡，乾元元年复为江州。宋太平兴国七年（982年）析江州星子、都昌和洪州建昌3县置南康军，天禧四年江州、南康军同属江南东路，绍兴元年江州隶江南西路，南康军隶江南东路。元为江州路和南康路，属江西行中书省。明为九江府和南康府，属江西承宣布政使司。
1914年将九江府改为浔阳道，属江西省，共领二十县，其中德化县（原九江府首县）因与福建省的德化县同名，于1914年改为九江县。1917年设九江市；1921年3月，设九江行政厅，次年改设市政府。1926年废道，县隶于省。1932年2月设立行政区制，分属第二、第三行政区。1935年分属第一、第五行政区。1936年改九江市为九江县。1939年分属第二、第五、第九行政区。
1949年5月7日，九江解放。7月19日设九江专员公署（江西省人民政府九江分区行政督察专员公署），辖九江、瑞昌、武宁、永修、星子、德安、靖安七县，署治九江。并将九江县之浔阳镇改为九江市（县级市）。9月17日，省人民政府决定将修水、彭泽、湖口、都昌四县分别从袁州和饶州专署划归九江专署管辖，把靖安县从九江专署划出，归南昌分区管辖。至此，九江专署共管辖十县一市。1958年底，九江市、县合并为九江市（县级市）。1961年市、县又分治，均属于九江专区。1970年，九江专区改为九江地区。1978年析九江市庐山镇设庐山（县级行政建制）。
1980年3月28日，国务院批复同意将九江行署领导的九江市改由省直接领导；撤销庐山现行的行政区划建制，将庐山的行政区域包括牯岭镇和东风、高垅、红旗、赛阳、威家五个公社全部划归九江市管辖，并改设为九江市的一个区级行政单位；将现属星子县五里公社的交通大队、九江县黄老门公社的大塘大队和赛城湖垦殖场划归九江市管辖。同年5月，江西省政府批复同意撤销庐山现行行政区划建制，设立庐山区（当时的庐山区，主要指以牯岭镇为中心的庐山山上范围），与浔阳区、郊区并列。时属庐山管理局的东风（现海会镇）、红旗（现莲花镇）、高垅、赛阳、威家五个公社划归九江郊区管辖。
1983年7月27日，撤销九江地区，将原九江地区的修水、武宁、瑞昌、永修、德安、九江、星子、都昌、彭泽、湖口10县划归九江市管辖。1984年4月，中共中央办公厅、国务院办公厅批复同意设立江西省庐山风景名胜区管理局；5月，江西省委批复撤销庐山区现行建制，成立江西省庐山风景名胜区管理局；8月，九江市郊区改为九江市庐山区。1989年12月，经国务院批准，撤销瑞昌县，设立瑞昌市，属省直辖，九江市代管。至此，九江市管辖九县一市二区。
2003年末，九江市总人口460.1万人，其中非农业人口108.5万人。2004年末，九江市总人口463.2万人，其中非农业人口122.1万人。
2005年末，九江市辖2个市辖区、9个县，代管1个县级市，共有12个街道、98个镇、82个乡。
2010年第六次人口普查，九江市常住总人口4728778人，其中，庐山区302228人，浔阳区402758人，九江县315219人，武宁县360269人，修水县739986人，永修县376107人，德安县222322人，星子县245526人，都昌县716370人，湖口县275797人，彭泽县353149人，瑞昌市419047人。
2015年末，九江市辖2个市辖区、9个县，代管2个县级市，共有14个街道、102个镇、79个乡。
2016年3月20日，《国务院关于同意江西省调整九江市部分行政区划的批复》（国函〔2016〕58号）：一、同意撤销星子县，设立县级庐山市，将九江市庐山区牯岭镇划归庐山市管辖。以原星子县和庐山区牯岭镇的行政区域为庐山市的行政区域，庐山市人民政府驻南康镇紫阳南路45号。庐山市由江西省直辖，九江市代管。二、同意将九江市庐山区更名为濂溪区。
2016年4月29日，《江西省人民政府关于调整九江市部分行政区划的通知》（赣府字〔2016〕35号）：一、撤销星子县，设立县级庐山市，将九江市庐山区牯岭镇划归庐山市管辖。以原星子县和九江市庐山区牯岭镇的行政区域为庐山市的行政区域，庐山市人民政府驻南康镇紫阳南路45号。庐山市由省直辖，九江市代管。二、将九江市庐山区更名为濂溪区。三、将驻九江市濂溪区赛阳镇的庐山云雾茶场（含剪刀峡景区入口）、庐山茶科所，驻莲花镇的莲花林场，驻海会镇庐山茶场管理范围划入庐山市牯岭镇管辖。四、从九江市濂溪区海会镇析出高垅、庐山水泥厂、五星、双垅、银门、谷山、青山等7个村（居）委会，设立九江市濂溪区高垅乡，乡政府驻高垅居委会。五、将调整后的九江市濂溪区海会镇(海会、庐星、彭山、长岭、五洲、光明等6个村、居委会）划归庐山市管辖。六、将调整后的庐山市蓼花镇更名为庐山市星子镇。庐山市政府于5月30日正式挂牌成立。