春秋战国时，江山为姑蔑一部分。春秋末国属越国，战国后期属楚国。秦王政二十五年（公元前222），属会稽郡太末县。新王莽始建国元年（公元9年），改太末县为末治县，东汉建武元年（公元25），恢复太末县名。先后属末治县、太末县。东汉初平三年（192），析太末县西部置新安县，属会稽郡新安县。三国时期孙吴宝鼎元年（266），划会稽郡一部置东阳郡，属东阳郡新安县。西晋太康元年（280），改为信安县，南朝陈天嘉三年（562），东阳郡改为金华郡，隋朝初年，又易名婺州，大业三年（607）复为东阳郡。

唐武德四年（621），析信安县之南川置须江县，以城南有须江得名，隶属越州总管府衢州，为江山建县之始。武德六年，属婺州管辖，垂拱二年（686），恢复衢州，江山属衢州信安县，689年复置须江县，属衢州。

五代后唐长兴二年、吴越宝正六年（931），钱鏐因县南有江郎山，改须江县为江山县，南宋咸淳三年（1267），改名礼贤县，1276年复名江山。

清宣统三年（1911），辛亥革命后，属衢州军政分府管辖。

民国元年，直属于省。三年，省以下设道，属金华道，16年废，24年，属省第五行政督察区，37年，改隶第三行政督察区。

1949年5月6日，江山县解放。7月1日建浙江省第三专区，属第三专区；10月，第三专区改称衢州专区，属衢州专区。

1955年改属金华专区。

1985年分设金华、衢州两市，属衢州市。

1987年11月27日，国务院批准撤销江山县，设立江山市（县级），属衢州。