据《元和郡县志》，汾西县名取义城当汾水西岸。西汉置彘县，东汉为永安县。北魏于今县境置汾西郡。北齐于今城关南25千米申村置临汾县、郡。北周于今城关西北回城、云城2村间别置新城县，属临汾郡。隋开皇初年废郡。三年（583）改临汾县为汾西县，十年新城县废入汾西县，先后属汾州、吕州、晋州、霍山郡。
唐贞观六年（632）徙今治。宋属平阳府。金属霍州。元属晋宁路。明、清属平阳府。1949年属临汾专区。1954年属晋南专区。1958年与霍县合并为霍汾县，后又并入洪洞县。1961年复置汾西县，属晋南专区。1967年属晋南地区。1970年属临汾地区。2000年属地级临汾市。
1996年，汾西县面积880平方千米，人口约12万人。辖5个镇、9个乡：城关镇、对竹镇、僧念镇、和平镇、勍香镇、要家岭乡、加楼乡、邢家要乡、团柏乡、它支乡、佃坪乡、康和乡、桑原乡、麻姑头乡。县政府驻城关镇。
2000年第五次人口普查，汾西县常住总人口133836人，其中：城关镇29842人，对竹镇7733人，勍香镇10106人，和平镇13021人，僧念镇9760人，加楼乡8605人，桑原乡7745人，康和乡5468人，它支乡6328人，佃坪乡7827人，邢家要乡7663人，团柏乡11338人，麻姑头乡4334人，要家岭乡4066人。
2001年，撤销城关镇、加楼乡、桑原乡，设立永安镇；撤销康和乡，并入对竹镇；撤销它支乡，并入勍香镇；撤销麻姑头乡，并入僧念镇；撤销要家岭乡，并入佃坪乡。区划调整后，全县辖5个镇、3个乡：永安镇、对竹镇、勍香镇、和平镇、僧念镇、佃坪乡、团柏乡、邢家要乡。县政府驻永安镇。
2010年第六次人口普查，汾西县常住总人口144791人，其中，永安镇21125人，对竹镇11895人，勍香镇17654人，和平镇13853人，僧念镇14233人，佃坪乡10396人，团柏乡11569人，邢家要乡7086人，社区管理委员会36980人。
2015年末，汾西县辖5个镇、3个乡（合计8个），6个居委会、120个村委会（合计126个）。