“古交旧石器文化遗址”的发现，证明早在10万年前就有人类生息、繁衍在太原的土地上。义井和东太堡的“新石器文化遗址”进一步证明，在七八千年前的母系氏族公社早期，太原的先民就曾创造了灿烂的文化。

远古时期属冀州，是传统上说的华夏九州之一，为九州之首。《汉书》：“河内曰冀州：其山曰霍，薮曰扬纡，川曰漳，浸曰汾、潞。”说明秦、汉以前的冀州地区一般是指今日之汾河平原及其附近地带。

殷商时太原为古国北唐，考古学家曾在太原许坦村一带，发现了商代的文化遗址，定名“许坦型文化”。史传太原的肇始者台骀，因治理汾水、开拓了太原盆地，被尊为“汾水之神”。

鲁昭公元年（晋平公十七年，前541年），晋国荀吴率兵北征，大败占据今太原一带的无终及赤狄别族咎如，太原地区始入于晋国版图。春秋末期，晋定公十五年（前497年）显赫于世的晋阳古城问世于汾河晋水之畔，迄今已有2500年的历史。

周威烈王二十三年（前376年），韩、赵、魏废晋静公，将晋公室剩余土地全部瓜分。因此韩、赵、魏三国又称为“三晋”。三家分晋是历史上具有划时代意义的重大事件。它是中国奴隶社会瓦解，封建社会确定的标志，史学界以此作为东周时期春秋与战国的分界点。之后，赵国定都晋阳（太原）。

秦始皇统一中国后，分天下为36郡，设置太原郡，郡治晋阳。

汉代全国设十三州，并州刺吏部设治晋阳，这也是太原称并州之始，太原简称“并”来源于此。是时，太原为全国十三州部治所之一，闻名遐迩。

东晋十六国时先后晋阳被刘渊、石勒、慕容燕、苻坚占据。北魏仍为太原郡，兼置并州。南北朝时，晋阳又是东魏和北齐的别都，始终保持着“霸府”的地位，高欢、高洋父子坐镇太原、遥控朝政。

隋代，太原（当时称之为并州），是全国性的大城市。开皇二年（582年），置河北道行台。开皇九年（589年），改为总管府，大业初（605年），府废，改称太原郡。

隋末，李渊、李世民驻守太原，因晋阳古有唐国之称，李渊父子定都长安后，遂以“唐”为国号。因此，唐文化的发源于太原。唐初，曰并州初置大总管府，又改大都督府。唐朝的几位帝王曾数次扩建晋阳城，并相继封其为“北都”、“北京”，为河东节度使治所，与京都长安、东都洛阳并称“三都”、“三京”，诗人李白曾盛赞“天王三京，北都居一”。

五代十国时期，后唐、后晋、后汉、北汉，或发迹于晋阳，或以此为国都，一时间太原名声显赫于举国，传为“龙城”。

北宋太平兴国四年（979年），宋太宗赵光义灭掉了以太原为都的北汉政权，最终统一全国。由于憎恨太原军民对宋军的顽强抵抗及恐惧太原“龙城”的美誉，遂下令火烧晋阳城，又引汾、晋之水夷晋阳城为废墟，一座历经1476年悠久历史的古城遭到了彻底的破坏。三年之后，新的太原城在距古晋阳城北四十余里的唐明镇重新崛起。嘉佑四年，设太原府治。

金朝时，宋钦宗赵桓下诏将中山、河间、太原三镇交金人。从此，太原人民在战乱摧残，异族压榨下，度过了80多年。

元朝时，蒙古汗国改名元朝。元朝时的太原称为太原路。成为全中国的交往中心，北到岭北行省，东到奴儿干都司（治所黑龙江下游），西到地方，南到海南，都在此交流。此后明朝和清朝的府城均建立于此。

明初，朱元璋封其三子朱棢为晋王于太原，遂因此扩建太原城，成为明代九边重镇之首。

清朝，置太原府，府治在阳曲县。

太原近代

晚清时期（1860年－1912年）

1860年《北京条约》签订以后，外国使节和传教士得到特许进中国，借传教的名义促使和参与了不平等条约的签定，搜集中国情报，进行文化侵略。

1900年，八国联军再次打进北京，慈禧路经太原，见当地晋商云集，便大肆搜刮捐税。

1911年辛亥革命后，阎锡山被举为山西都督，于太原建立晋系军阀，经营山西长达38年，期间韬光养晦保境安民，使山西成为全国最富裕省份之一。

1947年，析出阳曲县城区，单独设置太原市，实行闾邻制，全市分为内八区和外八区，作为山西省省会。

1949年4月24日，人民解放军攻占太原。

1949年解放后，太原市成为山西省人民政府驻地，山西省省会。

1951年原属汾阳专区的晋源县撤销，并入太原市。

1958年原属忻县专区的阳曲县和原属榆次专区的清徐县撤销，并入太原市。

1960年复设阳曲（驻黄寨镇）、清徐（驻清源镇）两县。

1972年吕梁地区所属的娄烦县划归太原市。