民国以前，今小店区属太原县（今晋源区）管辖。1954年6月4日，太原市第四区改名为小店区，因小店村而得名。村落形成于北宋初年，宋太平兴国四年(979年)毁晋阳城后，该地成为新建的平晋县城向西通往晋阳故城之汾河渡口要地。初有小片客栈，后商贾汇集成村，因店小且多，故称小店。明嘉靖《太原县志》载：“小店堡，本永安堡，乃四达道也。”
1970年3月，撤销太原郊区建置，分别设置南郊区、北郊区，南郊区政府驻小店镇。1996年，南郊区面积680平方千米，人口约30万人，辖4个镇、9个乡：小店镇、晋源镇、晋祠镇、北格镇、金胜乡、姚村乡、刘家堡乡、亲贤乡、杨家峪乡、郝庄乡、孟家井乡、黄陵乡、西温庄乡。区政府驻小店镇。
1997年5月8日，国务院（国函〔1997〕33号）批复同意调整太原市市辖区行政区划，新设立的小店区辖原南城区的坞城、北营、双塔3个街道，原南郊区的亲贤、黄陵、小店、西温庄、刘家堡、北格6个乡镇及原南郊区郝庄乡的狄村（自然村），区人民政府驻小店镇昌盛西街。原南郊区的孟家井、郝庄（不含狄村）2个乡划归新设立的迎泽区管辖，原南郊区的杨家峪乡划归新设立的杏花岭区管辖，原南郊区的晋源、晋祠、姚村、金胜4个乡镇划归新设立的晋源区管辖。
1998年底，小店区面积295平方千米，其中建成区面积24.7平方千米；人口35.5万人，其中非农业人口21.9万人，农业人口13.6万人；辖3个街道、6个乡镇，107个居委会、98个村委会，112个自然村。2000年，小店区辖5个街道、2镇、2乡。
2000年第五次人口普查，小店区常住总人口491250人，其中，坞城街道101757人，营盘街道83002人，北营街道37746人，平阳街道74313人，黄陵街道39257人，小店镇60439人，北格镇37196人，西温庄乡25498人，刘家堡乡32042人。
2001年，亲贤乡、黄陵乡、小店镇改设为街道办事处。调整后，小店区辖6个街道、1个镇、2个乡：小店街道、坞城街道、北营街道、营盘街道、平阳路街道、黄陵街道、北格镇、西温庄乡、刘家堡乡。
2007年，撤销狄村村委会，设立狄村社区居委会（小店区政〔2007〕21号）；撤销寇庄村委会，设立寇庄社区居委会（小店区政〔2007〕34号）；撤销许东等村委会，设立许东、许西、南坪头社区居委会（小店区政〔2007〕43号）；撤销大马村委会，设立大马社区居委会（小店区政〔2007〕44号）；撤销郑村等村委会，设立郑村、西吴、新营、小吴社区居委会（小店区政〔2007〕45号）；撤销西贾村委会，设立西贾社区居委会（小店区政〔2007〕46号）。
2008年1月1日，小马、殷家堡2个社区居委会从高新区划转到小店区。同年，撤销西攒等村委会，设立西攒、横河、武宿社区居委会（小店区政〔2008〕5号）；撤销坞城村委会，设立坞城社区居委会（小店区政〔2008〕6号）；撤销大村等村委会，设立大村、加节、巩家堡社区居委会（小店区政〔2008〕7号）；撤销龙保村委会，设立龙保社区居委会（小店区政〔2008〕8号）；撤销北营等村委会，设立北营、北畔、大吴、东峰、新庄社区居委会。（小店区政〔2008〕9号文件）。
2010年第六次人口普查，小店区常住总人口804537人，其中，坞城街道149138人，营盘街道136644人，北营街道53257人，平阳路街道145142人，黄陵街道57074人，小店街道99836人，北格镇36394人，西温庄乡40384人，刘家堡乡32233人，太原高新技术产业开发区9914人，太原经济技术开发区44521人。
2013年，设立龙城街道（并政函〔2013〕82号）。
2015年末，小店区辖7个街道、1个镇、2个乡（合计10个），78个居委会、89个村委会（合计167个）。