西汉高祖元年（前206年），项羽在九江郡地置九江王国。高祖四年，改九江王国为淮南王国。汉文帝六年（前174年），改淮南王国为淮南郡；十二年，复将淮南郡改为淮南王国。汉武帝元狩元年（前122年），改淮南王国为九江郡，辖合肥等县，合肥县名始见于此。汉武帝元封五年（前106年），置十三州，合肥县属扬州九江郡。
东汉光武帝建武元年（25年），改合肥县为合肥侯国。汉献帝建安五年（200年），废合肥侯国，复改为合肥县，扬州治合肥。
三国时，合肥县属魏国淮南郡，为扬州治。
西晋武帝太康元年（280年），改九江郡为淮南郡，合肥县属淮南郡。
东晋时，南北分裂，合肥为双方争夺的重镇，县废。
南朝宋置南豫州，于旧合肥县地置汝阴县。汝阴属南豫州南汝阴郡，为郡治。梁武帝天监五年（506年）改属汝阴郡。梁武帝普通七年（526年），以寿阳置豫州，汝阴为南豫州治。梁武帝太清元年（547年），置合州，汝阴属合州汝阴郡，为州、郡治。北周宣帝大成元年（579年），合州为北周占领。隋文帝开皇元年（581年），改汝阴县为合肥县，改合州为庐州，合肥属庐州，为州治。大业初，改庐州为庐江郡，合肥属庐江郡，为郡治。
唐高祖武德三年（620年），改庐江郡为庐州，治合肥。唐太宗贞观元
年（627年），置十道，合肥属淮南道庐州。唐玄宗天宝元年（742年），改庐州为庐江郡，仍治合肥。唐肃宗乾元元年（758年），又改庐江郡为庐州。唐僖宗中和到唐昭宗天复年间（883年～902年），杨行密先后为扬州刺史和吴王，辖合肥。
后梁到后唐（907年～936年），合肥县属吴国庐州，昭庆军节度。后晋到后汉（936年～950年），合肥县属南唐庐州，保信军节度。后周时（951年～960年），合肥县属后周庐州，保信军节度。
北宋太宗淳化四年（993年），合肥县属淮南道庐州，为州治。宋太宗至道三年（997年），改道为路，合肥县属淮南路庐州，为州治。
宋神宗熙宁五年（1072年），淮南路分东西两路，后并又分，合肥属淮南西路庐州，为州治。宋朝庐州属保信军节度。南宋高宗绍兴初，庐州寄治巢县。绍兴十年（1141），合肥为金朝占领，旋即收复。宋孝宗乾道五年（1169年），庐州仍治合肥。
元世祖至元十四年（1277年），升庐州为庐州路，隶淮西江北道，合肥属淮西道庐州路。至元二十八年，合肥县属河南江北行省庐州路。元泰定二年（1325年），合肥县仍属淮西道庐州路。元顺帝至正十二年（1352年），合肥县复属河南江北行省庐州路。至正二十四年，朱元璋占庐州，改路为府，置江淮中书行省于此，合肥县属江淮行省庐州府，不久改属江浙行省庐州府，为府治。
明太祖洪武元年（1368年），合肥改属中书省直隶庐州府，为府治。洪武十三年，合肥改属六部直隶庐州府，为府治。明成祖永乐十八年（1420年）置南京直隶，合肥属南京直隶庐州府，为府治。
清朝顺治二年（1645年），改南京直隶为江南省，合肥县属江南省庐州府，为府治。顺治十八年，设江南左右布政使司，江南左布政使司辖庐州等府、州。清朝康熙六年（1664年），江南左布政使司改为安徽布政使司，安徽正式建省，合肥县属安徽省庐州府。清朝咸丰三年到十一年（1853年～1861年），安徽巡抚治于合肥县。
民国元年（1912年），庐州府废，合肥县直属安徽省。
民国3年，全省分为三道，合肥县属安庆道。
民国17年，废道，合肥县直属安徽省。
民国21年，置行政督察区，合肥县属安徽省第三行政督察区。
民国27年（1938年）05月，日军侵占合肥县，国民政府将县政府撤至大潜山北麓鸽子笼圩子（今合肥肥西县铭传乡），民国34年08月复治合肥城。
民国29年，合肥县改属安徽省第二行政督察区。
1945年抗战胜利后，国民政府将安徽省省会迁至合肥县，合肥成为安徽省的省会。
1948年12月，析、取合肥县西乡、南乡建立的肥西县；次年1949年02月01日再次析合肥县东乡、北乡为肥东县。
1949年01月21日，合肥县和平解放，同年02月合肥设市。
1952年，安徽省人民政府正式在合肥市成立。
1965年由寿县、定远、肥东、肥西四县的边缘结合部划并而成长丰县，该县也成为合肥市第一个市辖县。2011年08月地级巢湖市拆分，庐江县与县级巢湖市划归合肥市管辖。
名称由来
合肥之名称的由来就不能不说到淝水。淝水源出自城西南七十华里的紫蓬山（又名李陵山），出山后分二支，
一支东下经城南绕到东关，称为南淝河；一支向北，与鸡鸣山龙井的水汇合后，又分二支：一支折向东流，穿城而过，称为金斗河（今天已不存在了），另一支向北经寿县，注入淮河，称为东淝河，历史上著名的淝水之战即发生在此。晋·谢玄在此地以少胜多大败符坚。按《尔雅》释义：“归异出同”曰肥，这是肥水得名的依据。合肥因东淝河与南淝河在此汇合而得名（一说因古时庐州由合州改名而得名），素以“淮右襟喉、江南唇齿”“三国旧地、包拯故里”闻名于世。合肥之名，最早出现在史学家司马迁《史记》中，《史记货殖列传》记载，“合肥受南北潮，皮革、鲍、木输会也。”意思是合肥作为长江淮河两大流域水运的节点，是南北皮革、鲍鱼、木材的转运站。在当时大运河未开通，邗沟经常淤塞的情况下，地处长江、淮河两大水系运输节点的位置使得合肥成为货殖列传中记载的十八个商业都会之一。
史记里记载当时的大都会，东南地区只有寿春（安徽寿县）、吴（苏州）、番禺（广州）和合肥。当时为汉置九江郡隶属县。合肥之名见于史书为汉武帝元狩元年（公元前122年），改淮南王国为淮南郡，辖合肥等县。可见合肥得名还应早于此。东汉光武帝元年（公元25年）改合肥县为合肥侯国。汉献帝建安五年（公元200年），废合肥侯国，恢复合肥县。三国时期，合肥县属魏国淮南郡。吴王孙权曾多次想夺取合肥但未成功，但为合肥留下了不少千古故事和地名，如张辽威震逍遥津，曹操练兵的教弩台，数兵的斛兵塘，孙权逃跑时跃马飞过的飞骑桥等等，只是可惜的是名称仍在，但岁月已磨去了它们的原貌。
南朝宋置南豫州，于旧合肥县地置汝阴县，为南豫州南·汝阴郡的郡治之地。梁武帝太清元年（公元547年）置合州，汝阴属合州汝阴郡，为州、郡治之地。北周宣帝大成元年（公元579年）合州为北周占领。
隋文帝开皇元年（公元581年）改汝阴县为合肥县，改合州为庐州，合肥属庐州，为州治之地。从此，合肥县之名就固定下来未再改过。