雨山区因境内有风光秀美的雨山而得名。早在秦朝已有牛渚地名（今采石）的记载。牛渚属会稽郡丹阳县（今当涂县丹阳镇）。北宋元丰年间（1080），今雨山地区设有采石镇、青邮镇（今佳山乡青邮），隶属当涂县。
1934年至1948年，今雨山地区属当涂县第二区采石镇永宁乡。1949年4月24日，当涂县解放。原采石镇永宁乡更名为采石镇慈湖乡。今雨山地区当时为大小河西自然村。
1956年11月15日，根据安徽省人委发出《关于设置马鞍山市的通知》，将当涂县的马鞍山矿区全部、采石镇全部、雨山乡大部、宝庆乡（今佳山乡）一部等划归马鞍山市。同年11月26日，市委决定：马鞍山城区成立马鞍山、向山、采石3个街道办事处，郊区成立党委。1958年，雨山地区为金家庄公社雨山分社。
1964年，金家庄公社改为市区，雨山分社随之改为市区雨山街道办事处。1976年6月1日，市区和采石区撤销，市区一部分和采石区全部合并为雨山区革命委员会。雨山区辖雨山、平湖、采石3个街道办事处，44个居委会。1980年初，改称雨山区人民政府。1984年11月29日，经市批准，将雨山街道一分为二，分设为雨山街道和安民街道。
1996年，雨山区面积16.5平方千米，人口约11.9万人，辖4个街道：雨山街道、平湖街道、安民街道、采石矶街道。区政府驻红旗中路。
2000年第五次人口普查，雨山区常住总人口132943人，其中：平湖街道29321人，雨山街道35166人，安民街道59282人，采石街道9174人。
2001年，将原向山区的雨山乡、佳山乡和向山镇划归雨山区管辖。全区辖雨山、安民、平湖、采石4个街道，向山镇、雨山乡、佳山乡，26个行政村、66个居委会。总面积120平方千米，人口22.7万人。
2004年1月安徽省民政厅（民地字[2004]5号）批准，1月8日马鞍山市人民政府（马政秘[2004]2号）批准：一、撤销雨山乡、佳山乡，合并设立佳山乡。调整后，佳山乡辖16个村委会、1个居委会，面积56.74平方千米，人口3.9万人，乡政府驻印山。二、保留向山镇。
2004年2月2日，将当涂县的银塘镇划入马鞍山市雨山区。调整后的雨山区面积扩大到173平方千米，辖雨山、平湖、安民、采石等4个街道，向山、银塘2镇以及佳山乡，36个行政村、35个社区。至2005年，雨山区人口25.93万余人。
2005年3月，全区共撤并8个村。调整后，雨山区辖4个街道、2个镇、1个乡，36个社区、28个村，总面积173平方千米，人口25.17万人。
2010年第六次人口普查，雨山区常住总人口309672人，其中：平湖街道39068人，雨山街道50902人，安民街道57022人，采石街道7386人，向山镇56480人，银塘镇22218人，佳山乡67408人，马鞍山经济技术开发区9188人。