西汉置皋狼县，东汉废。

西晋置左国城，属西河国。

北齐文宣帝时置良泉县。

北周静帝大象年间设窟胡县，属石州。

隋炀帝大业三年改名方山县。

唐高祖武德二年（619年）置方州。武德三年（620年）改属石州。贞观十一年（637年）仍属石州。

金宣宗贞祐四年（1216年）。

元世祖至元三年（1266年）方山县并入离石县，属石州。

民国七年（1918年）复置方山县，属冀宁道。

民国二十六年（1937年），属第四行政公署。

民国二十八年（1939年），属第二行政公署。

民国二十九年（1940年），方山县属四专区。

民国三十二年（1943年），方山县属晋绥边区三分区管辖。

1949年2月15日晋绥边区与陕甘宁边区合并后设晋西北行署，方山县属离石分区。

1952年7月1日，方山县归榆次专区。

1958年改名离石县，1971年5月1日恢复方山县。属吕梁地区。

2004年5月，吕梁撤地建市，方山县归离石市管辖至今。