秦末，此地为鄱阳令吴芮部将梅鋗的封地，县西十里建有梅鋗城，故祁城又有“梅城”之称。

唐永泰元年（765），方清据黟县赤山镇阊门(今祁山镇南)垒石为城，置阊门县。

翌年，吴仁欢助官军击败方清，在其旧垒设祁门县，以赤山镇为县治，咸丰二年(1852)改名祁山镇，至今一直为县治驻地。

1949年5月，祁山镇 撤销，属城关区。

1952年初划乡建政，恢复镇建制，改名城关镇。

1957年3月复名祁山镇。

1958年冬，成立人民公社，祁山镇改称城关管理 区，属城关人民公社(以下简称。公社”)。

1961年，大公社划小，城 关管理区改为城关公社。

1964年撤销公社，恢复城关镇。

1983年6月 还名祁山镇至今；

民国36年，祁山镇辖文府、庄北、中正、新兴、桃西、秀墩、三里、凤华8保。

1949年4月，县城解放。

1958年县人民政府迁至学前街。