据20世纪50年代从平定西北枣烟、大梁丁等地出土文物考证，早在旧石器时代中期，便有人类在此生息繁衍。

唐虞夏商时，今阳泉市境相传为古冀州之地。春秋时，今盂县地有仇犹国。周贞定王十二年（前457年），晋卿智伯灭仇犹；十六年（前453年），韩赵魏三家分晋，市境属赵。

早在春秋末期，赵简子为适应军事争雄的需要，在今市区修筑“平坦城”，屯集粮草，驻兵把守，为重要的军事要塞。

公元623年，唐高祖李渊曾在此设州，管辖寿阳、盂县、石艾、乐平等县，是古阳泉历史上第一次升为州级建制。公元960年，赵匡胤发动“陈桥兵变”，在此设置平定军，发兵太原。

秦属太原郡。西汉初，于市境置上艾县，县治在今平定县新城村，属并州太原郡。东汉，上艾县属冀州常山国。三国时，南北分属魏并州乐平郡、新兴郡。

西晋沿用曹魏旧制。东晋十六国时，历属前赵、后赵、冉魏、前燕、前秦、后燕、北魏等国。北魏时南北分属并州乐平郡石艾县和肆州新兴郡定襄县。后全境属东魏和北齐。隋时于今娘子关置苇泽县，属井州，后废；于今盂县境置原仇县（后改称盂县），与石艾县同属辽州。

唐初，市境属受州，后受州废，石艾、盂县先后属并州、太原府；天宝元年（742年），石艾更名广阳，徙县治于广阳村。五代历属后唐、后晋、后汉、北汉。

北宋太平兴国四年（979年），改广阳县为平定县，县治迁回平定上城，隶平定军；盂县属并州；之后，平定县、盂县同属河东路。

金升平定州、盂州，属河东路、河东北路。元属冀宁路。明，盂州降为县，与 平定州同属山西太原府，清雍正二年（1724年），平定为直隶州，增领盂县、寿阳县，属山西省。

民国初为平定县和盂县，属山西冀宁道，后直辖山西省。

1905年，正太铁路在阳泉设站。随着交通运输的发展，一批采掘、冶炼企业相继成立，使阳泉站为山西近代工业的发祥地之一。随后，以阳泉站为中心，聚集行商坐贾，逐步成为山西东部地区和连结晋冀两省的商品集散地。

1947年5月2日，阳泉解放，正式建制为阳泉市。

1947年5月4日，以原平定县的一部分设阳泉市，以后一度改称阳泉工矿区。阳泉市（工矿区）先后归华北联合行政委员会、华北人民政府、山西省管辖。

1949年设阳泉工矿区，属榆次专区。

1951年阳泉工矿区改设阳泉市，由省直辖。

1958年阳泉市划归晋中专署领导。

1961年阳泉市改由省直辖。

1970年阳泉市划归晋中地区领导。

1972年阳泉市改由省直辖。

1969年1月，正式设立城区、郊区。

1970年1月设立矿区。

1983年7月，实行市管县体制，平定县、盂县划归阳泉市。

1989年9月，实行市管县体制，平定县、盂县划归阳泉市，阳泉市成为由山西省直辖的下辖两县（平定、盂县）三区（城、矿、郊）的城市。