秦庄襄王二年（前248年），属太原郡。

汉武帝元朔四年（前125年），置临水县，属西河郡。

王莽时期，临水县曾改监水县。

东汉，复名临水县。

东汉永和五年（公元140年）临水县并入离石县，仍属西河郡。东汉末，西河郡并入太原郡。

三国初，仍属太原郡。

魏黄初二年（221年），设置西河郡，仍属西河郡。

两晋时辖于离石，为匈奴占领。

十六国时期，属离石镇。

南北朝时期，北周时置乌突郡、乌突县。

隋开皇元年（581年），废郡，改乌突为太和。

大业三年（607年），改州为郡。临县属离石郡。

唐武德三年（620年），改太和县为临泉县，属石州。

宋仍称临泉县、定胡县，隶属石州，属河东路。

元符二年（1099年），改属晋宁军。

金天会元年（1123年），复名为临水县，废晋宁军，属石州。

蒙古中统二年（1261年），改临水为临泉，属太原郡。

元至元三年（1337年），升为临州。

明洪武二年（1369年），临州降为县，属太原府。临县之称由此而定，至今未变。

万历二十三年（1595），临县改属汾州府。

清因明制，县属汾州府，冀宁道。

民国废除府州，县直属山西省辖，境内实行区所制，划为东、南、西、北、中5个区。

民国二十九年（1940年），临县解放，成立我党领导的抗日民主政府，临县划为10个区。同年10月，为抗日战争所需，将临县分为临县、临南两个县，临县设7个区，临南设5个区。

民国三十五年（1946年），临县，临南合并，仍称临县。

1949年新中国成立后，属兴县专署管辖。

1952年划归榆次专署（后改晋中专署）。

1971年组建吕梁地区，划归吕梁地区。

1984年4—7月，改乡（镇）村制。临县设10个镇，28个乡。

2002年撤乡并镇，全县设13个镇，10个乡。

2004年7月，吕梁撤地设市，仍由吕梁市管辖至今。