春秋时，是越国的姑篾地。战国时属楚地，秦时属会稽郡，设县为太末，是龙游建县之始。汉献帝初平三年（公元192年）分太末立新安县，为衢县建县之始。晋太康元年（公元280年）因弘农有新安，改名为信安。南朝置信安郡，领信安、定阳二县，为衢州设县以上领县的行政单位之始。
唐武德四年（公元621年）置衢州。相传当年尉迟敬德率泰安城营移位安筑新城。城将竣工，当地人送上美酒一坛。尉迟敬德刚喝上一日，顿觉酒味芳测，香味浓郁，使问是用何处泉水酿造，答曰是用三衡山上的水酿造。将军听后大喜，当即命令军中文书草拟奏章，定城名为衢州。衢是通达的意思，指四通八达的道路。有人认为，“衢州”、“三衢”，均因其地当浙、皖、赣三省交通要冲的特殊地理位置而得名。元至元年间《置建衢州路总管府碑记》和《明一统志》都是这种观点。
元代为衢州路。明、清称衢州府。民国元年（1912年）废衢州府，属金华道。1927年废道，实行省县两级制，各县直属浙江省。1935年衢州改为省第五区行政督察专署，管辖衢县、龙游、江山、常山、开化、寿昌、遂昌、淳安八县。1946年设衢州绥靖公署。1948年又改为省第三专员公署，兼辖金华八县。
1949年析衢县城关为衢州市，并设衢州专员公署，辖衢、龙、常、开、江、遂昌六县和衢州市。1951年撤衢州市。1952年松阳、宣平县并入衢州专员公署管辖。1955年3月初撤销衢州专区，衢、龙、常、江等县改属金华地区专员公署。1979年恢复衢州市。1981年撤销衢县，并入衢州市。1985牛6月衢州市升为省辖市，辖4县1市1区。
2001年12月10日国务院（国函[2001]161号）批准、12月26日浙江省政府（浙政发[2001]82号通知）批复：同意撤销衢县，设立衢州市衢江区。将原衢县的云溪、太真、双桥、庙前、周家、灰坪、长柱、坑口、举村、岭头、洋口、横路12个乡和高家、莲花、峡川、杜泽、上方、廿里、后溪、湖南、大洲、樟潭、安仁、全旺12个镇以及衢州市柯城区的浮石、下张2个乡和石室乡的黄坛口村划归衢江区管辖。区人民政府驻樟潭镇。将原衢县的华墅、沟溪、七里、九华4个乡和航埠、石梁2个镇划归柯城区管辖。2002年1月11日，衢州市政府下发《关于撤销衢县设立衢江区及调整部分市辖区行政区划的通知》。
2000年第五次全国人口普查，衢州市总人口2128856人。其中：柯城区286271人、衢县464128人、常山县265467人、开化县271611人、龙游县368157人、江山市473222人。
从2005年7月份起，根据衢州市委、市政府的统一部署，衢州市进行新一轮的乡镇（街道）行政区划调整。调整后，衢州市乡镇（街道）总数从139个调整为106个，减少了33个。其中：街道数从5个增加到13个，镇数从55个减少到47个，乡数从79个减少到46个。调减幅度为23.7%。2006年1月5日，衢州市政府下发《关于衢江区部分乡镇行政区划调整的批复》，调整后衢江区辖10个镇、9个乡、2个街道。至此，衢州市乡镇（街道）行政区划调整全面完成。
2006年底，柯城区辖7个街道、2个镇、8个乡，30个居民区、310个行政村；衢江区辖2个街道、10个镇、9个乡，512个行政村；江山市辖2个街道、13个镇、6个乡，12个社区、554个行政村；常山县辖7个镇、7个乡，7个社区、4个居民区、342个行政村；开化县辖9个镇、9个乡，9个居民区、449个行政村；龙游县辖2个街道、6个镇、6个乡、1个民族乡，7个社区、3个居民区、431个行政村。（根据《浙江区划地名溯源》）
2009年末，全市总面积8841.1平方千米，总人口2498601人，其中建成区102.76平方千米、城区人口64.64万人，共有13个街道、47个镇、46个乡，2171个行政村。市区面积2354.4平方千米、人口821815人，其中建成区54.25平方千米、城区28.27万人；柯城区面积605.5平方千米，人口418687人，辖7个街道、2个镇、8个乡，318个行政村；衢江区面积1748.9平方千米，人口403128人，辖2个街道、10个镇、9个乡，506个行政村。江山市面积2019.4平方千米，人口593782人，其中建成区15.00平方千米，城区人口12.92万人，辖2个街道、13个镇、6个乡，294个行政村；常山县面积1096.3平方千米，人口329342人，其中建成区11.69平方千米，县城人口8.20万人，辖7个镇、7个乡，342个行政村；开化县面积2227.8平方千米，人口350576人，其中建成区9.32平方千米，县城人口5.90万人，辖9个镇、9个乡，449个行政村；龙游县面积1143.2平方千米，人口403086人，其中建成区12.50平方千米，县城人口9.35万人，辖2个街道、6个镇、7个乡，262个行政村。（根据《衢州市统计年鉴》，缺社区统计数）
2010年，衢江区撤销横路乡建制，其行政区域连同全旺镇双盈头、尹家2个行政村的区域并入高家镇。全市辖2个市辖区、3个县，代管1个县级市，共有13个街道、47个镇、45个乡。