春秋时期属吴国，战国初属越国，后属楚国。
公元前221年，秦始皇统一六国，分全国为三十六郡。置歙县，属会稽郡（治山阴，即今浙江绍兴）。楚汉之际属鄣郡（治故鄣，今浙江长兴），此时，歙县含今歙、休宁（含今屯溪区）、婺源、绩溪、淳安、遂安、黄山风景区等地。
汉建安十三年（208），吴取黟、歙，分歙东乡地置始新县（今淳安)，分歙南乡地置新定（今遂安）县，分歙西乡地置休阳县（今休宁县）县、黎阳县（今屯溪）。
梁大同元年（535），分歙北华阳镇地置良安县。
隋开皇九年（589），本县并入海宁县；十一年复置，以相湖岭与海宁分界。
唐武德四年（621），罢良安县，其地仍属歙；永徽五年（654），邑人蒋宝起兵响应睦州清溪陈硕真农民起义，事平后，分歙东竦口地置址（音荡）野县。
开元二十一年（733年），江南道分置，歙县属江南东道。
乾元元年（758年），拆江南东道为浙江西道与浙江东道，歙县属浙江西道。
大历元年（766）， 分歙西、休东八乡地置归德县，并分歙县华阳镇地置绩溪县。
大历五年（770），废址野县，其地复属歙县，并废归德县，其地归属休宁。
至道三年（997年）改道为路，歙县划属江南东路。
宋亡元置江浙行省，歙县属江浙行省。
洪武初年建都应天府，歙县划属直隶，永乐初年移都北京，直隶改称南直隶，简称南直。
清顺治二年（1645年）设江南承宣布政使司，建江南省，歙县属之。
康熙六年（1667年）拆江南省为江苏省与安徽省，歙县属安徽省。
此后直至
，境域与隶属关系基本稳定，据民国《歙县志》所载为：东至昱岭关浙江昌化县界六十公里，西至长充铺（今槐源）休宁县界十八点五公里，南至街口浙江淳安县界五十公里，北至箬岭关太平县界四十公里，西北至汤岭（关）太平县界六十公里，东北至界牌岭绩溪县界十七点五公里，西南至危峰岭（危峰关）浙江遂安县界四十五公里，至相湖岭休宁县界十五公里。
民国元年（1912），废府留县，直属安徽省；3年6月，属芜湖道；17年8月，废道，直属安徽省；21年10月，属安徽第十行政督察区；29年3月，属皖南行署；同年8月，属皖南行署第七行政督察区；抗战胜利后，皖南行署撤销，属安徽省第七行政督察区。
建国后，1949年10月，本县璜尖乡划属休宁县。
1952年8月，屯溪市草市村划属 本县；本县上源、茶源乡划属绩溪县，黄口村划属屯溪市，旃田、呈田划属休宁县。
1955 年12月，坦头、大源两乡划属绩溪县。
1956年元月，本县溪头乡的溪东、洪塘、汪村，竦口乡的江村环村划属绩溪县；同年4月，本县金坑乡划属绩溪县；11月，休宁县白际乡的结竹营划属本县，本县旃田乡的湖驾划属休宁。
1961年4月，属徽州专区。
1964年3月，休宁县柿树岭生产队划属本县。
1973年3月，本县草市大队划属屯溪屯光公社。
1974年以来，属徽州地区。
1984年元月，本县黄山乡（含黄山风景区）共154平方公里范围，划属县级黄山市（原太平县）。
1987年，属黄山市。
1988年1月歙县篁墩乡划属屯溪区；并划出歙县洽舍区所属富溪、杨村、洽舍所，岩寺区所属岩寺镇、罗田、呈坎、潜口乡和郑村乡瑶村，成立黄山市徽州区。