介休历史悠久，国内史籍最早记载介休历史为周代鲁隐公五年（公元前718）。时，曲沃庄伯伐翼，晋翼侯奔随，随在今介休城东，当时为晋大夫士会食邑。公元前636年，晋文公返国赏随臣，介子推不言录，与母隐居绵山。晋文公焚林求贤，子推竟与母抱树而死。后，介休即依介子推休于此而得名。
春秋晋置邬县，后废。秦置介休县，属太原郡。西汉复置邬县，故治在今市区东北15千米邬城店；又因秦介休县置界休县，故治在今市区东南8千米；俱属太原郡。另置平周县，故治在今市区西8千米，属西河郡。新莽改界休为界美，东汉复为界休。东汉末年废平周县。
晋废邬县，改界休县为介休县，属西河国，后废。北魏太和八年（484）复置介休县，属西河郡。十九年复置邬县，属太原郡。东魏孝静帝时侨置南朔州于此，只领军人，不辖郡县，介休县属汾州。兴和中年侨置宁州于介休城，后废。四年（542）置平昌县，于县置定阳郡，故治即今城关。北齐废邬县及介休县。北周废南朔州，改定阳郡为介休郡，复置介休县附郭。宣帝时介休县废入平昌县。
隋开皇初年废郡。十八年（598）改平昌县为介休县，徙治今城关，属西河郡。义宁元年（617）复置介休郡，县属之。唐武德元年（618）改介休郡为介州，县属之。贞观元年（627）废介州，县属汾州。蒙古初年改属太原府，至元二年（1265）还属汾州。明、清属汾州府。
民国初年属冀宁道，道废后直属省。1941年于介休、平遥2县间分置平介县，1942年在介休、灵石2县间分置介灵县，属晋绥边区。1948年复为介休县。1949年属榆次专区。1958年灵石、孝义2县废入介休县，属晋中专区。1961年灵石、孝义2县析出。1967年属晋中地区。
1992年2月10日，《民政部关于山西省撤销介休县设立介休市的批复》（民行批〔1992〕13号）：经国务院批准，同意撤销县，设立介休市（县级），以原介休县的行政区域为介休市的行政区域。1999年由山西省直辖，委托地级晋中市代管。
1996年，介休市面积742平方千米，人口36万人。辖6个镇、14个乡：城关镇、张兰镇、连福镇、洪山镇、义棠镇、义安镇、东湖龙乡、三佳乡、大靳乡、板峪乡、化家窑乡、上梁乡、西靳屯乡、秦树乡、龙凤乡、万户堡乡、宋[月+古]乡、樊王乡、北辛武乡、北贾乡。市政府驻城关镇。（251个行政村）
2000年3月，介休市将原有的5镇15乡撤并为7镇3乡。调整后，介休市辖5个街道、7个镇、3个乡。
2000年第五次人口普查，介休市常住总人口372993人，其中，北关街道17512人，西关街道12808人，东南街道19365人，西南街道23476人，北坛街道3758人，义安镇53183人，张兰镇46048人，连福镇31367人，洪山镇12843人，义棠镇34621人，龙凤镇13934人，绵山镇31227人，城关乡23622人，宋[月+古]乡30978人，三佳乡18251人。
2010年第六次人口普查，介休市常住总人口406517人，其中，北关街道21048人，西关街道22041人，东南街道24161人，西南街道29579人，北坛街道16635人，义安镇54246人，张兰镇43151人，连福镇28021人，洪山镇11335人，龙凤镇12666人，绵山镇29578人，义棠镇28237人，城关乡31049人，宋[月+古]乡36456人，三佳乡18314人。
2014年末，全市常住人口415583人。2015年末，介休市辖5个街道、7个镇、3个乡（合计15个），35个居委会、230个村委会（合计265个）。
【注："月+古"替代字为"古"】