徽州区长期来来一直为歙县地治，歙县徽城镇古称徽州府，1987年黄山市成立后，划歙县岩寺镇和潜口、呈坎、罗田、西南溪、洽舍、富溪、杨村7乡以及郑村镇的瑶村置徽州区。

1997年，徽州区辖1个镇、6个乡：岩寺镇、西溪南乡、潜口乡、呈坎乡、洽舍乡、杨村乡、富溪乡。区政府驻岩寺镇。

2002年，设立徽州街道；呈坎撤乡设镇。

2004年，歙县郑村镇的上朱村被划入黄山市徽州区岩寺镇。

2004年底，徽州区下辖1个街道、4个镇、3个乡。