历史上境内有“打枪坪”，后人嫌其粗俗，以其谐音改为大祥坪，取其大吉大祥之意而得名。春秋属楚地，秦属长沙郡。西汉属昭陵县，县治置境内。三国时，初属蜀，后入吴。吴后主宝鼎元年（266年），置昭陵郡昭阳县，属荆州。西晋武帝太康元年（280年），避司马昭之讳，改昭陵郡为邵陵郡、昭阳县为邵阳县。五代后晋天福年间（936 ～943年），改邵州为敏州、邵阳县为敏政县。后汉复称邵州邵阳县。
南宋理宗宝庆元年（1225年），升邵州为宝庆府。至1912年，属湖南宝庆府邵阳县。1913年，废宝庆府，设宝庆县。1928年，复名邵阳县。1938年，邵阳城区设安和、建治2镇，今大祥区境域（下面简称为“境域”）城区属建治镇。1949年10月13日，将安和、建治2镇设立区级邵阳市，属邵阳县。1950年10月19日，以城关镇及祭旗、佘湖、板铺、城北、田江渡5乡为县级邵阳市，市、县同城而治（1952年2月26日邵阳县驻地迁驻塘渡口），境域分属邵阳市、邵阳县。
1951年，邵阳市废除保甲制，划分为7街，并设立郊区工作委员会，境域分属邵阳县、邵阳市一、二、三、四街和郊区工作委员会。1952年3月，境域分属邵阳市第一、二、三、四街和郊区工作委员会及邵阳、邵东县。1953年7月，境域城区属邵阳市第一、二区。1955年7月，第一、二区分别更名为城西区、青龙桥区。1956年5月，撤销城西区、青龙桥区，以邵水河为界，其西部成立邵阳市西区，境域分属西区、郊区工作委员会和邵阳、邵东县；6月，撤销郊区工作委员会，郊区各乡由市委农村工作部直管。
1957年8月，撤销西区，分别成立邵阳市城西、曹婆井办事处。1958年1月设立郊区办事处，市委农村工作部所管各乡划入郊区办事处；8月，城西办事处试办红旗公社；9月，从邵东县划入板桥、蒋河桥乡，从邵阳县划入檀江、面铺乡及庙山乡（今雨溪镇）的10个高级农业合作社到郊区办事处；10月，撤销郊区办事处，其管辖的公社由复建的市委农村工作部管理。
1960年4月，红旗公社与曹婆井办事处合并建立邵阳市红旗城市公社。1962年8月，撤销红旗城市公社，建立红旗办事处、曹婆井办事处（1968年9月更名为红卫办事处）；11月，将板桥、蒋河桥公社划入邵东县，檀江、面铺公社及原庙山乡的10个高级农业合作社划入邵阳县，境域分属邵阳市和邵阳、邵东县。
1977年7月，邵阳市升格为省辖市；檀江、面铺和雨溪公社划归邵阳市；12月，红旗、红卫2个办事处合并设立县级邵阳市西区，辖红卫、红旗、城北、城西、城南、向阳6个街道，区政府驻红卫街道沙井头11号。1978年1月，设立近郊、东郊、北郊三区；8月，三区合并为县级邵阳市郊区，区政府驻城北街道现市政府院内，城南、城西、雨溪、面铺、檀江公社属郊区。
1979年10月，撤销向阳、城南街道。1981年9月，红旗、城北街道分别更名为红旗路、城北路街道。1982年，红卫街道更名为中心路街道，郊区政府迁至今双清区汽车站街道。1984年6月，公社改乡，大队改村；10月，邵东县蒋河桥、板桥乡划入市郊区，境域分属邵阳市西区和郊区。1987年8月，西区政府搬迁至城西街道西湖路10号。1996年5月，蒋河桥乡更名为蔡锷乡，西区增设百春园、城南街道。
1997年8月29日，国务院批复（国函[1997]83号）：撤销邵阳市东区、西区、郊区，调整设立邵阳市双清区、大祥区、北塔区。大祥区辖原西区的城北路、红旗路、中心路、城西、城南、百园春6个街道和原郊区的城南、雨溪、面铺、檀江、蔡锷、板桥6个乡，区人民政府驻西湖路。
1997年11月，大祥区正式挂牌成立。1998年4月，城南街道更名为翠园街道。1999年4月，雨溪乡撤乡设镇。至此，大祥区辖6个街道、1个镇、5个乡。
2000年第五次人口普查，大祥区常住总人口277672人，其中，中心路街道17698人，红旗路街道24452人，城北路街道20253人，城西路街道39320人，翠园街道31841人，百春园街道21216人，雨溪镇16752人，城南乡25766人，面铺乡19318人，檀江乡22801人，蔡锷乡17685人，板桥乡20570人。
2001年8月，撤销面铺乡，设立罗市镇。至此，大祥区辖6个街道、2个镇、4个乡：中心路街道、红旗路街道、城北路街道、城西路街道、翠园街道、百春园街道、雨溪镇、罗市镇、城南乡、檀江乡、蔡锷乡、板桥乡。
2008年12月，区政府迁驻城南乡敏州西路。2011年12月，撤销城南乡，设立城南街道。
2010年第六次人口普查，大祥区常住总人口340605人，其中，中心路街道24922人，红旗路街道36244人，城北路街道29644人，城西路街道34707人，翠园街道31894人，百春园街道29382人，雨溪镇17837人，罗市镇22411人，城南乡29942人，檀江乡25501人，蔡锷乡19901人，板桥乡23373人，城南园艺场3988人，火车南站站前管理区10859人。
2011年末，辖区东西直线距离21.8千米，南北直线距离18.3千米，总面积214.66平方千米，占全省土地总面积的0.10%，其中城区42.4平方千米，占全区面积19.8%。总人口32.32万人，其中城镇常住人口24.06万人；。人口密度为每平方千米1505.6人。另有流动人口4.62万人。汉族31.13万人，少数民族共1.19万人（其中回族5518人，苗族1395人，土家族408人，瑶族250人，侗族217人）。辖中心路、红旗路、城北路、城西、翠园、百春园、城南7个街道，雨溪、罗市2个镇，檀江、蔡锷、板桥3个乡，46个居委会、81个村委会，807个居民小组、1218个村民小组。
2012年，设立火车南站街道、学院路街道。调整后，全区辖9个街道、2个镇、3个乡：中心路街道、红旗路街道、城北路街道、城西街道、翠园街道、百春园街道、城南街道、火车南站街道、学院路街道、雨溪镇、罗市镇、檀江乡、蔡锷乡、板桥乡。
2015年11月24日，省民政厅（湘民行发[2015]69号）批复同意：雨溪镇、学院路街道成建制合并设立学院路街道。檀江乡、城南街道成建制合并设立城南街道。调整后，全区辖9个街道、1个镇、2个乡：中心路街道、红旗路街道、城北路街道、城西街道、翠园街道、百春园街道、城南街道、火车南站街道、学院路街道、罗市镇、蔡锷乡、板桥乡。总面积214.66平方千米，总人口32.32万人。