因位于汾河之阳（西）而得名。据《明史·地理志》，汾阳县，奉宋金元汾阳军，汾阳军取义则因地当汾河之阳。
始建于春秋初期，为瓜衍县，属并州。战国属赵，为兹氏县。秦、汉时期仍名兹氏县（今市区西南8千米巩村），属并州刺史部太原郡。新莽改兹同，东汉复旧。三国魏黄初二年（221）兹氏县治徙今城关，且为西河郡治。西晋改为隰城县，改郡为西河国。永嘉末年陷废。
北魏太延年间置什星军，后废。太和八年（484）复置隰城县及西河郡，隶汾州。孝明帝时郡治南徙至今临汾地区。孝昌年间汾州自今交口县境徙此。东魏天平二年（535）于今城关南8千米东阳城村侨置灵州和真君郡。武定四年（546）于今城关东南8千米团城村置武昌郡。北齐改汾州为南朔州。北周废灵州，改南朔州为介州。
隋大业中年改介州为西河郡。唐武德元年（618）改西河郡为浩州，三年复为汾州。天宝元年（742）改汾州为西河郡，乾元元年（758）复为汾州。上元元年（760）改隰城县为西河县，属汾州。宋属河东路。金属河东北路。元属冀宁路。明洪武元年（1368），省西河县置汾州（直隶州），兼领平遥、介休、孝义三县。万历二十三年（1595）升汾州为汾州府，依廓设汾阳县，府属冀南道，府、道治所皆驻县城内。清康熙六年（1667）冀南道废入冀宁道。民国年间废府、道，县直属省。
民国29年，属晋西北行署第八专区；民国32年，属晋绥边区行署第八专区；民国34年，属晋绥边区吕梁行署七专区；民国37年，县划属华北区晋中专区。1948年7月，汾阳全境解放。1949年属汾阳专区，为专署驻地。1951年废汾阳专区，县改属榆次专区。1958年属晋中专区。1967年属晋中地区。1971年5月划归新成立的吕梁地区。1996年8月20日，经国务院批准，汾阳撤县设市，为县级市。
1996年，汾阳市辖10个镇、8个乡：城关镇、石庄镇、演武镇、三泉镇、杨家庄镇、肖家庄镇、贾家庄镇、峪道河镇、杏花村镇、冀村镇、南偏城乡、见喜乡、栗家庄乡、阳城乡、张家堡乡、宋家庄乡、万宝山乡、城子乡。市政府驻城关镇。
2000年第五次人口普查，汾阳市常住总人口387046人，其中，城关镇72883人，杏花村镇27765人，冀村镇14919人，演武镇26892人，三泉镇32807人，峪道河镇16580人，杨家庄镇12646人，贾家庄镇34355人，肖家庄镇32023人，石庄镇11997人，城子乡23766人，见喜乡21972人，阳城乡21215人，南偏城乡4422人，栗家庄乡17153人，张家堡乡9157人，宋家庄乡5409人，万宝山乡1085人。
2001年，撤销城关镇，设立文峰街道、太和桥街道、西河乡；原阳城乡的建昌、昌宁宫2村划归文峰街道管辖，将原贾家庄镇的籽城坊、古庄、曹兴庄、北关园4村划归太和桥街道管辖，将原栗家庄乡的大向善、小向善2村划归西河乡管辖；撤销城子乡，并入冀村镇；撤销南偏城乡，并入杨家庄镇；撤销宋家庄乡、万宝山乡，并入峪道河镇；撤销见喜乡，并入阳城乡；撤销张家堡乡，并入栗家庄乡。调整后，全市辖2个街道、9个镇、3个乡：文峰街道、太和桥街道、贾家庄镇、杏花村镇、冀村镇、肖家庄镇、演武镇、三泉镇、石庄镇、杨家庄镇、峪道河镇、西河乡、阳城乡、栗家庄乡。
2002年11月，全市开展撤并村组工作；撤并后，全市辖9镇3乡2个街道办，289个行政村，45个自然村。2003年，将城区31个居委整合为15个社区。至2009年，全市辖2个街道、9个镇、3个乡，15个社区、289个行政村，347个自然村。
2010年第六次人口普查，汾阳市常住总人口416212人，其中，文峰街道37970人，太和桥街道39867人，贾家庄镇30070人，杏花村镇30546人，冀村镇39138人，肖家庄镇32757人，演武镇27352人，三泉镇32948人，石庄镇8785人，杨家庄镇14177人，峪道河镇20799人，西河乡35057人，阳城乡42592人，栗家庄乡24154人。
汾阳市向上级有关部门申请重新调整市区行政区划，西河乡（拟）调整为西河街道，筹备设立南薰街道和辰北街道。2011年9月6日，文峰街道办事处搬迁新址，南薰街道办事处和辰北街道办事处筹委会正式挂牌成立。【注：调整方案至今尚未得到批复；汾阳市行政区划实际已划分为5个街道、9个镇、2个乡】
2012年10月，肖家庄镇、阳城乡、栗家庄乡和贾家庄镇的部分临近市区的行政村划入市区各街道，改村为社区；全市共有37个社区、262个行政村。2014年，文峰街道新增崇文社区。2014年末，全市常住人口426726人。
2015年末，汾阳市辖2个街道、9个镇、3个乡（合计14个），15个居委会、289个村委会（合计304个）【注：此处为全国乡镇行政区划简册数据；实际为5个街道、9个镇、2个乡，262个行政村，38个社区】。