西周时代，“此”地沿无县、邑的行政区划，但尹吉甫率师北伐时，既“驻兵于此”，营建防御工事，当属首要。

秦始皇统一中国后，废封国，实行郡县制，置县平陶，属太原郡。

汉朝时，平遥为京陵、中都二县及邬县地。

北魏太武帝时，徙汉平陶（原址在文水县西南）于京陵城西，并因避太武帝拓跋焘名讳，改平陶为平遥，东迁至今址，平遥城作为县治之所在，是平遥政治、经济、文化的中心。

隋唐时期，为防御北方突厥族的侵入，作为“表里山河”的军事重镇山西，在战略上具有特殊的重要地位，其时，平遥以一座土夯的城垣，经历过冷兵器时代一场场自卫战争的考验。

北宋初，太初赵匡胤为讨平北汉政权派兵焚烧平遥城。

唐宋时期，平遥古城商贸初具规模。

元朝至正九年(1349)时，城内沙巷街以西尚属城外，那里“桑园成林，百鸟争鸣”。

明洪武二年(1369)，大水成灾，冲垮西城墙，留滞了红色泥沙，次年扩建城池时，城墙西迁，遂有沙巷街。

明洪武三年(1370)，平遥城墙在周长“九里十八步”的“旧城”基础上开始扩建，重建筑成“周围十二里八分四百、崇三丈二尺、濠深广各一丈，门六座，东西各二，南北各一，城墙已砖石包墙。

明代中叶以后，城市经济的繁荣和人口的增长，促使城市建筑向外扩展，正德四年(1509)在亲翰门外筑起了“附郭关城”一面，“附郭关城”是加筑在“关厢”之外的又一道城垣。墙身素土夯成，墙高约6米，上砌女儿墙。墙间辟拱券城门一道于龙王庙之左，习称“东关门”。“东关门”面临惠济河畔，北望“九眼桥”，是去向“官道”(如同今之国道)、通往太原府的必经之路。

明代中叶，古城商贸得到进一步发展。

在明清两代500余年间，平遥城墙历经26次修葺增补，形成了现存的已有规模。即周长6162.68米（与明初“周围十二里八分四厘吻合），平遥城三华里见方城门六道，南北各一，东西有二，形如“乌龟”头南尾北，所以平遥城又称龟城。作为城的标示—城楼，在明代已有之，清康熙年间重修。古城内的四大街，八小街，七十二条蚰蜒街也形成明清时期，体现县置的平遥县衙建成于元至正六年(1346),历经元、明、清各代，保留至今。

古城主体的民居宅地，商铺作坊，是在十五世纪初随着晋商文化的中心城市逐步形成，而渐渐兴建起来的。

清代中叶，古城商业贸易一度兴盛，曾发展为全国的商业金融中心。

清道三年(1823)，日升昌票号诞生，平遥商帮迅速崛起，进一步促进古城贸易的发展，此后持续百余年之久。

民国七年以后，公路、铁路相继开通，促进了平遥的开放。各种洋货大量流入平遥，占领市场。

1938年2月，日本侵略者入侵平遥城，古城经历了日本法西斯八年的烧掠抢，许多建筑或毁坏或改为军事设施。日军推新经济封锁政策，城内商铺减少，满目萧条。

20世纪中期，附郭关城最终遭遇了建设性的毁灭。

新中国成立后，党和人民政府重视平遥古城保护。五六十年代时，就拨款维修文庙大成殿、双林寺等文物古迹。

1965年5月24日，山西省人民委员会公布平遥城墙、双林寺、镇国寺和文庙大成殿为省级文物保护单位。

“文化大革命”期间由于经费得不到保证，加之“破四旧”、“深挖洞”之风盛行，古城内原许多文物古迹或被占用或被拆除，遭到了自然的、人为的损坏。城墙周围开始修起大量民宅。

十一届三中全会以后，古城保护工作步入正常轨道，县政府建立管理机构，制定政策法规，大力融资维修古迹、修建道路、整治环境、开发旅游。

1979年，国家拔专款修缮双林寺、镇国寺、城墙。

1986年，平遥古城被国务院批准为国家历史文化名城。

1990年，平遥城市布局划分为古城保护区、新城发展区。

1993年，平遥城墙墙体全体复原如故，72座敌楼重新耸起，魁星楼再现菜昔日风采，太和门、亲翰门、风仪门三座瓮城恢复原状。

1997年，12月3日联合国教科文组织正式将平遥古城列入世界文化名录。

2000年底，平遥古城基本恢复明清原貌。