西汉置舒县，隋开皇元年（581）置庐江县。唐属庐江郡，宋属无为军，元属无为州，明、清属庐江府。1949年属巢湖专区。1971年属巢湖地区。1999年属地级巢湖市。2011年，庐江县划归合肥市管辖。
1996年，庐江县面积2352平方千米，人口约116.9万人，辖13镇19乡：城关镇、汤池镇、泥河镇、金牛镇、白山镇、白湖镇、盛桥镇、乐桥镇、缺口镇、矾山镇、石头镇、罗河镇、柯坦镇、许桥乡、冶山乡、罗埠乡、黄屯乡、郭河镇、福元乡、同大乡、顺港乡、新渡乡、石山乡、砖桥乡、沙溪乡、陈埠乡、杨柳乡、戴桥乡、长岗乡、顺港乡、大化乡、店桥乡、张王庙乡。县政府驻城关镇。
2000年第五次人口普查，庐江县常住总人口1145874人，其中（16个镇、16个乡）：城关镇136201人，冶父山镇24594人，万山镇30558人，汤池镇36324人，郭河镇35032人，金牛镇36821人，石头镇30169人，白山镇44110人，盛桥镇41670人，白湖镇37955人，缺口镇28973人，矾山镇28631人，罗河镇44141人，泥河镇56569人，乐桥镇33380人，柯坦镇24955人，罗埠乡23850人，长岗乡23590人，福元乡25688人，新渡乡31315人，同大乡51674人，戴桥乡21274人，许桥乡28915人，石山乡31848人，顺港乡17228人，杨柳乡29810人，黄屯乡25008人，砖桥乡35363人，店桥乡21104人，沙溪乡34357人，大化乡23487人，陈埠乡33572人，白湖监狱17708人。
2001年8月，庐江县面积2357平方千米，辖15个镇、17个乡：城关镇、冶父山镇、汤池镇、金牛镇、石头镇、白山镇、盛桥镇、白湖镇、缺口镇、矾山镇、罗河镇、泥河镇、乐桥镇、柯坦镇、万山镇；罗埠乡、长岗乡、陈埠乡、郭河乡、福元乡、新渡乡、同大乡、戴桥乡、许桥乡、石山乡、顺港乡、杨柳乡、黄屯乡、砖桥乡、店桥乡、沙溪乡、大化乡，共有558个村委会、18个居委会。
2004年，庐江县将32个乡镇调整为28个乡镇：撤销顺港乡，并入白湖镇；撤销大化乡，并入乐桥镇；撤销店桥乡，并入罗河镇；将万山镇的石桥村、金冲村、官塘村、王岗村并入汤池镇；撤销长岗乡，并入万山镇；城关镇更名为庐城镇；其余的22个乡镇予以保留。调整后，全县辖28个乡镇：城关镇、冶父山镇、汤池镇、金牛镇、石头镇、白山镇、盛桥镇、白湖镇、缺口镇、矾山镇、罗河镇、泥河镇、乐桥镇、柯坦镇、万山镇；罗埠乡、陈埠乡、郭河乡、福元乡、新渡乡、同大乡、戴桥乡、许桥乡、石山乡、杨柳乡、黄屯乡、砖桥乡、沙溪乡。乡镇平均面积由原来的73.4平方千米扩大到83.9平方千米，平均人口由原来的3.7万人增加到4.2万人。
2005年，撤销罗埠乡、石山乡、戴桥乡、福元乡、新渡乡、许桥乡、杨柳乡、黄屯乡、砖桥乡、陈埠乡、沙溪乡。调整庐城镇、冶父山镇、石头镇、白山镇、同大镇、郭河镇、盛桥镇、白湖镇、缺口镇、矾山镇、柯坦镇、泥河镇的行政区域，并将缺口镇更名为龙桥镇：将原罗埠乡并入庐城镇；将原石山乡并入冶父山镇；将原戴桥乡的钱渡村、白河村并入石头镇；将原戴桥乡的戴桥居委会、马鞍村、李墩村、金墩村、五爱村、朱井村、站岗村并入白山镇；将原新渡乡并入同大镇；将原福元乡并入郭河镇；将原许桥乡并入盛桥镇；将原杨柳乡并入白湖镇；将原砖桥乡并入矾山镇；将原陈埠乡并入柯坦镇；将原沙溪乡整建制并入泥河镇，将缺口镇的同心村并入；缺口镇更名为龙桥镇，将同心村划出；将原黄屯乡整建制并入。保留汤池镇、万山镇、罗河镇、乐桥镇、金牛镇。调整后，全县辖17个镇：庐城镇、冶父山镇、汤池镇、金牛镇、石头镇、白山镇、盛桥镇、白湖镇、龙桥镇、矾山镇、罗河镇、泥河镇、乐桥镇、柯坦镇、万山镇、郭河镇、同大镇。镇平均人口从4.3万人上升到7万人，平均面积从84平方千米上升到138平方千米。
2010年第六次人口普查，庐江县常住总人口973850人，其中：庐城镇164883人，冶父山镇38127人，万山镇36173人，汤池镇33437人，郭河镇50835人，金牛镇28936人，石头镇31396人，同大镇56890人，白山镇45971人，盛桥镇57568人，白湖镇70175人，龙桥镇44884人，矾山镇44550人，罗河镇56348人，泥河镇75568人，乐桥镇52382人，柯坦镇54165人，安徽庐江经济开发区4703人，安徽省白湖监狱管理分局22274人，安徽省白湖阀门厂有限公司3496人，安徽省罪犯技术培训中心1089人。