今庐江之地，春秋属舒国，战国属楚，秦属舒邑，汉为舒县。“庐江郡”设于西汉初。“庐江县”名始于隋（《隋书·地理志》），另说始于南朝梁（《太平寰宇记》），两说时间仅相差几十年。庐江县设立以后，隶属和地域多有变化。
庐江县境，春秋时期属舒国，徐人取舒后，为楚地。
秦朝，先属九江郡，后属衡山郡。
汉代，为舒县，初属淮南国衡山郡，后属衡山国、衡山郡。武帝元狩二年（前121）废江南庐江郡，分衡山东部、九江郡南部置新庐江郡，舒县属庐江郡。
三国时期，先后分属为吴庐江郡（治皖），魏庐江郡（治阳泉）。
晋代，仍为舒县，属豫州庐江郡（治阳泉）。
南北朝时期，梁天监元年（502年），置湘州，改舒县名潜，为庐江郡治。
隋代，开皇元年（581年），罢庐江郡置庐州，迁庐州治于合肥；大业三年（607年），复改庐州为庐江郡，州、郡治移建于合肥，为存旧名，改旧治为庐江县。
唐朝，开元二十三年（735年）分合肥、庐江地置舒城县。
宋代，析庐江、巢县地设无为县。
元朝， 县境仍沿旧域。
明代，属庐州府；崇祯八年（1635年），农民起义军贺一龙、马守应由巢县经盛家桥，攻克庐城；崇祯十五年（1642年），张献忠再次攻克庐城。
清朝，顺治二年（1645年），属江南布政使司庐州府；顺治十八年（1661年），属江南左布政使司庐州府；康熙六年（1667年），改左布政使司为安徽布政使司，庐江县属安庐滁和道庐州府。
民国元年（1912年），庐江县直属安徽省；民国三年（1914年）至民国十七年年（1928年），隶安徽省安庆道；民国二十一年（1932年），庐江县隶安徽省第二行政督察区专员公署（驻芜湖）；民国二十七年（1938年）7月，改属五区（驻含山）；民国二十七年（1938年）10月改属三区（专署先后驻立煌、庐江、桐城）；民国二十九年（1940年），属一区（专署先后驻桐城、太湖、怀宁）；民国三十六年（1947年），改属九区（专署驻巢县），12月划庐南砖桥至大凹口一带置桐庐县；民国三十七（1948）8月，割巢湖南岸之庐北地带置湖西县；民国三十八年（1949年）4月和7月，桐庐、湖西两县先后撤销。
中华人民共和国成立后，初属皖北行署巢湖专区；1952年，属安徽省芜湖专区；1958年7月，划归六安专区；1965年7月，复设巢湖专区，庐江划归巢湖专区；2011年8月，经国务院批准，撤销地级巢湖市，庐江县划归合肥市管辖。