春秋战国时期，这里先后为吴、越、楚三国的领地。秦汉为歙县西乡地。秦属会稽郡，秦末或楚汉之际改屈鄣郡，汉元狩二年（公元前121年）改为丹阳郡。
汉建安十三年（208年），孙权遣威武中郎将贺齐征服黟、歙一带的“山越”居民，分歙县西乡地置县，设县治在鸺山（又名“灵鸟山”，即今凤凰山）之南，故名休阳县。隶属新都郡。吴永安元年（258年），为避景帝孙休名讳，改名海阳县，县治迁万岁山（今万安古城岩）。
晋太康元年（280年）灭吴，改新都郡为新安郡、海阳县为海宁县。
南朝宋大明八年（464年），并黎阳县入海宁县，隶属新安郡。梁承圣二年（553年），复置黎阳县，分新安郡置新宁郡，郡治海宁，辖黎阳、海宁、黟、歙4县。陈天嘉三年（562年），又并黎阳县入海宁县，并新宁郡入新安郡。
隋开皇九年（589年），改新安郡为歙州，并黟歙入海宁。歙州治在海宁。十一年，复置黟、歙二县，海宁县篁墩划属歙县，州治迁黟县。十八年，县治迁“南当山水口上”（今渠口乡一带），海宁县改名休宁县（取“休阳”、“海宁”各一字命名），县名自此沿用至今。大业三年（607年），复改歙州为新安郡，郡治休宁万岁山。十二年，汪华起兵保郡，据郡治，并辖歙、宣、杭、睦、婺、饶六州，称吴王。次年，郡治迁歙县乌聊山。
唐武德四年（621年），汪华归唐，封越国公。新安郡仍改为歙州，休宁属之。七年，县治迁至万岁山。
贞观元年（627年），全国分为10道，休宁随歙州属江南道。开元二十一年（733年）全国分15道，休宁随歙州属江南东道。开元二十八年，划休宁南境回玉乡与鄱阳怀金乡置婺源县。天宝元年（742年），改歙州为新安郡，休宁属之。九年，县治迁至“松萝山之南”（即今址）。乾元元年（758年），新安郡复改为歙州，隶属宣歙饶道。次年，废宣歙饶道，歙州属浙西道。永泰二年（766年）设宣歙道，析休宁、歙县地置归德县，大历五年（770年）并回。大顺元年（890年）升宣歙道为宁国军。天复三年（903年）复改宣歙道。休宁均随歙州而属之。
五代十国时期，休宁随歙州先后属吴、吴越、南唐。
宋开宝八年（975年）灭南唐，休宁随歙州入宋，隶江南路。太平兴国元年（976年），歙州隶江南道东路。至道三年（997年），改江南道东路为江南路。宣和三年（1121年），改歙州为徽州。休宁随之隶江南路。
元至元十四年（1277年），改州为路。休宁属徽州路，隶江东道。二十一年改隶江浙行中书省，二十三年隶江南行台。
元至正十七年（1357年），朱元璋改徽州路为江南省兴安府，休宁属之。二十四年兴安府改为徽州府，休宁随之隶属江南行省。二十六年改隶中书省。明洪武八年（1375年）废中书省，全国设13布政使司，京畿府州直隶六部。休宁随徽州府直属南直隶。嘉靖三十四年（1555年）改属浙江按察分司徽宁池太道。隆庆六年（1572年）改属徽宁道。
清，休宁均属徽州府。顺治二年（1645年），改南直隶为江南省，徽州府属之。康熙六年（1667年），始设安徽省。雍正十一年（1733年），设安徽道。咸丰四年（1854年）改为徽宁池太广道，暂属浙江省兼辖。同治四年（1865年）复归安徽省。徽州府均属之。
徽州历为路、州、府名，直至民国元年（1912年）一月，废府留县，原领县直属安徽省。
民国三年（1914年）六月，歙、黟、绩溪、休宁、祁门、婺源、太平、旌德、石埭（即石台）九县划属安徽省芜湖道（此时之“道”亦为行政监察区，而非行政归属）。
民国十七年（1928年）八月，废道，直隶安徽省。休宁、婺源、祁门、绩溪、歙、黟六县划属安徽省第十行政督察区，治休宁。
民国二十三年（1934年），由于“剿共”的需要，婺源县划属江西省，婺源与徽州感情极深，不愿脱离母州，人民遂掀起声势浩大、持续二十个月的“婺源回皖”运动。
民国二十七年（1938年）四月十五日，第八、第十行政督察区改属国民政府皖南行署，治所设屯溪。
民国二十九年（1940年）三月二十三日，撤销第十行政督察区，歙、黟、休宁、祁门、绩溪、旌德六县改属安徽省第七行政督察区。歙、黟、休宁、祁门、绩溪五县改属安徽省第七行政督察区。
民国三十六年（1947年）六月，由于婺源人民的持续抗争和徽州其它县人民的强烈要求，民国二十三年（1934年）划归江西省的婺源县被重新划回安徽省，属安徽省第七行政督察区。
民国三十七年（1948年）在解放战争中，国民党安徽省政府一度迁安徽省会于屯溪。
1949年，祁门县于4月26日、休宁、歙县于28日、黟县于29日、绩溪县于30日先后被解放军二野解放；婺源县于5月2日被解放军四野解放，婺源县的解放标志着徽州全境的解放。由于解放婺源县和江西省的同为解放军四野，因此为了便于管理，从此将婺源划归江西省。同年5月13日，中共皖南区党委通知，设徽州专区（治所初在歙县，不久迁往休宁县屯溪镇），属皖南行署（行署初设屯溪，后迁芜湖），改屯溪镇为屯溪市（屯溪原为休宁县一镇），属徽州专区，全区领屯溪市和休宁、祁门、绩溪、旌德、歙、黟六县；1952年2月4日原属皖南行署池州专区的太平、石台二县和原属皖南行署宣城专区的宁国县划属徽州专区，全区共领一市（屯溪）九县（休宁、歙县、祁门、黟县、绩溪、旌德、太平、石台、宁国）。同年4月12日．废行署区，徽州专区属安徽省。
1953年12月1日，屯溪直隶安徽省，徽州专区领九县，1955年屯溪降为地辖市。
1956年1月12日，撤销徽州专区，原领九县划属安徽省芜湖专区；复升屯溪为省辖市。5月16日，将屯溪交由休宁县领导。6月，旌德县并入绩溪县。
1960年12月13日改屯溪市为休宁县辖镇。
1961年
4月13日，重设徽州专区。8月16日，又改屯溪为地辖市；1963年5月20日屯溪降为休宁县属镇。
1965年7月19日，复设石台县，改属池州地区。
1968年7月7日，成立徽州地区革命委员会，属县不变。
1971年3月29日，改徽州专区为徽州地区。
1975年12月19日，复升屯溪为地辖市（县级）。
1979年2月27日，改徽州地区革命委员会为徽州地区行政公署。同年1月29日，徽州地区领八县一市，即：歙、祁门、休宁、黟、绩溪、旌德、太平、石台和屯溪市。
1983年12月1日，经国务院批准，划歙县黄山乡、石台县广阳乡和太平县建立黄山市（县级），由省直辖。徽州地区领七县一市，即：歙、祁门、休宁、黟、绩溪、旌德、石台和屯溪市。
1987年11月27日，经国务院批准改徽州地区为地级黄山市。
1988年7月地级黄山市正式成立，辖三区四县，即：屯溪区、徽州区（划歙县岩寺镇新立）、黄山区、歙县、黟县、休宁县和祁门县。