春秋时期大同地区为北狄所居。北狄系指以狩猎为生的游牧部落林胡、楼烦。据《战国策·释地》载：“今山西岢岚州以北，故楼烦胡地也；大同、朔州以北。故林胡地。”大同至内蒙古河套一带，春秋时为林胡活动之地。（唐）尧帝封羲和氏子为北岳长老，其二子和叔来宅。《山海经》中古大同为古平国。商汤封同姓于此地，代子立国。
战国时期初为代国，后并入赵地。据《史记·赵世家》载，子晰告赵简子曰，主君之子将克二国于北皆子姓也。及简子卒，毋血立，是为襄子，北登夏屋，使宰人操铜木斗击代王，遂兴兵平代地。
公元前221年，秦始皇统一中国，废分封制，立郡县，全国设36郡，今大同境内为雁门郡、代郡之地。其时见于记载的城有：平城、代、善无、延陵、平舒、武周塞、新城、班氏、马邑等。秦始皇派大将蒙恬率30万大军北击匈奴，并征集民众筑长城，在今左云高山以东，云冈以西十里河谷“筑城武周塞内，以备胡。
西汉沿袭秦郡县制，其地仍为雁门郡、代郡之地。雁门郡属并州刺史部。沿所善无，共辖14县：善无、沃阳、繁峙、中陵、阴馆、楼烦、武州、汪陶、剧阳、崞、埒、马邑、疆阴、平城，平城为东部都尉治。代郡属幽州刺史部，治所桑干，共辖18县，在今大同境内者10县：道人、高柳、班氏、示氏、平舒、延陵、灵丘、且如、平邑、参合。
东汉各州置州牧，后改州牧为刺史。其地为雁门、代郡之地。雁门郡属并州刺史部，治阴馆，属县十四，今大同市境内有四县：繁峙、武州、崞、平城。代郡属幽州刺史部，治高柳，属县十一，在今大同市境内有六县：高柳、道人、班氏、示氏、北平邑、平舒。建武中，卢芳之乱，沿边八部并废，徙雁门、代郡之民于常山关、居庸关东。建武二十七年（51）复置郡，自善无移雁门郡治阴馆，县仍属。其代郡治高柳。“建安中省云中、定襄五郡，立新兴郡于太原界，郡为一县隶之，而别置平城县于勾注陉南，往属焉。”汉末天下大乱陉北之地弃为荒徼。建安二十年（215）曹操讨伐乌桓，平定代地。安集北边郡县之民，在今代县东五里置平城县，属冀州新兴郡。黄初元年（220）复置并州，平城属并州雁门郡。无论属冀州新兴郡的平城，还是并州雁门郡的平城，均为同名异地，非今大同。
三国时，其地为乌桓、鲜卑所据。汉明帝时（58—75）在平城建通光寺，为大同最早的佛寺。
晋大同北部为鲜卑族领地，南部为雁门郡地，其时郡已迁至广武，属县有：广武、崞、汪陶、平城、俊人、繁峙、原平、马邑。永嘉四年（310）晋并州牧刘琨，以拓跋猗卢有救援之功，上书晋怀帝，请封鲜卑拓跋猗卢为代公。建兴元年（313）拓跋猗卢定盛乐为北都，修秦汉故平城为南都，平城复还故治，属代国。
北魏拓跋珪于公元398年自盛乐迁都平城，改号皇帝，改元天兴，并置司州、代尹，治代都平城。徙六州二十二郡守宰、豪杰、吏民三千家于代郡。“营宫室，建宗庙，立社稷”，进行一系列大规模的首都建设。次月“诏有司正超过计划畿，制郊甸”，划定京畿范围：“东至代郡，西至善无，南及阴馆，北尽参合。西至河（黄河），南至中山隘门塞，北至五原，地方千里。”又设四方四维，置八部帅统兵镇守。
北齐天保元年（550）东魏被北齐所代，大同为北恒州、北朔州地，属县未有大的变化。天保七年（556）改北恒州为恒安镇（今大同），又名东州城，隶属恒州太平县，徙豪杰三千家以实之。翌年废镇，仍为北恒州。周齐之间，突厥渐强，为防御突厥、柔然、契丹，于天保三年（552）自西河总秦戍筑长城，东至渤海200余公里。天保六年（555）发夫180万人筑长城，自幽州夏口，西至恒州450余公里。天保七年（556）先自西河总秦戍筑长城东至海。前后所筑东西凡1000余公里。
公元557年西魏为北周所代替。建德六年（577）灭齐后，州县并废，复置恒安镇，改朔州置北朔州总管府。改太平县为云中县（此大同称云中之始）。灵丘属蔚州，为灵丘郡治。
隋开皇元年（581）重新统一中国后，改诸州为郡，其地为马邑郡、雁门郡之地。马邑郡治善阳，辖善阳、神武、云内、开阳。雁门郡治雁门，辖雁门、繁峙、崞县、五台、灵丘。恒安镇隶属马邑郡云内县。开皇五年（585）置代州总管府。隋为了防御突厥侵扰，大业三年（607）“发丁男百余万筑长城，西距榆林，东至紫河，一旬而罢”。公元615年八月，杨广巡游塞北，突厥得悉，率领10万兵攻入塞内，杨广被迫退到雁门，在各地军民增援下，杨广才解围而去。第二年突厥又犯，被李渊带兵击退。
唐初依隋实行州县制。武德四年（621）平利武周，复于故恒安镇置北恒州。武德六年（623）于雁门郡之灵丘别置蔚州。武德七年（624）北恒州废。贞观元年（627）发天下为13道，云、蔚、朔等州属河东道。云州治云中，辖县云中。蔚州治兴唐，辖兴唐，飞狐、灵丘。朔州治善无，辖善阳、马邑。唐末，以浑源川为名，置浑源州；以雁门山、龙首山南北呼应为名，置应州。贞观十四年（640）于故云内县置定襄县，兼云州治。龙朔三年（663）置云中都护府。永淳元年（682）为东突厥默啜所破，州县俱废，移百姓于朔州。开元十八年（730）复置县，改定襄为云中县。废北恒州为东州城，复置云州。天宝元年（742）改云州为云中郡。乾元元年（758）改云中郡为云州会昌三年（843）以云、蔚诸州为大同道，罢属河东，置都团练使，治云州。咸通十年（869）置大同军节度。中和二年（882）改大同节度为雁门节度。四年（884）云州复隶河东道。唐至德以后，中原运兵刺史皆管军戎，大同防御使由云州刺史领管，辖云、蔚、朔三州。唐末云州地区成为沙陀部和吐谷浑赫连铎部争夺的主要地带。也是李克用父子发迹之地。乾符三年（876）大同军节度使李国昌子克用为云中守捉使，防御使，据州以闻。僖宗赦克用，以国昌为大同军防御使，不受命。广明元年（880）李琢攻国昌，国昌兵败，与克用奔北地。共巢入京师，诏发代北军，寻赦国昌，使讨赋，克用率三万五千骑而南，收京师功第一，国昌封陇西郡王。国昌卒，克用取云州。唐末封建割据，云州陷入长期战争中，后李克用子李存勖灭梁，是为唐庄宗。
五代其地为后唐所占，区划未有大的变动。云中县，为云州治，隶属河东道。李克用与契丹耶律阿保机相会于云州东城，易袍马为兄弟，因取“怀想仁人”之义，改名怀仁县；后唐庄宗同光二年（924）析蔚州兴唐县设置广陵县（今广灵县）。后唐庄宗同光三年（925）复以云州为大同军节度。清泰三年（936）叛将河节度使石敬瑭，拜契丹主耶律德光为父，借契丹兵灭后唐，称帝，国号晋。以契丹有助援之功，将燕云十六州割让给契丹。云中判官司吴峦“闭门不受契丹命”，修整器械，昼夜守城，坚持了半年之久，“峦求援晋，晋主召峦南归”，云州陷落。至此大同先后被契丹、女真、蒙古统治者统治长达433年，使中原汉族统治从此失去北方屏藩。
辽后晋天福二年（937）辽进占云州。初为大同军节度，重熙十三年（1044）改云州为西京，设西京道大同府，重熙十七年（1048）析云中，置大同县，为辽之陪都。辽西京道所辖：大同府，治所大同。统2州7县：弘州、德州、大同县、云中、天成、长青、奉义、怀仁、怀安县。蔚州，治蔚州，统灵仙、定安、飞狐、灵丘、广陵。应州，治金城，统金城，浑源、河阳。朔州，治善阳，统善阳、武州、宁远、马邑、神武。
宋为路、州、县三级制，全国设15路。宣和五年（1123）预置云中府路，治云中府，统云中及武、应、朔、蔚、奉圣、归化、儒，妫等8州与云州合称“山后九州”。为宋金联盟攻辽的预置版图。后金失约，除武、应、朔、蔚诸州于宣和五年（1123）一度归宋，旋为金人所取外，西京仅在雍熙三年（986）云州观察使杨业攻占云州3个月外，再未进入宋之版图。《读史方舆纪要》指出，“石晋归其地于契丹，宋不能复有，遂基靖康之衅。女真之亡辽，蒙古之亡金，皆先下大同，燕京不能复固矣。”
金辽保大二年（1122）金宗翰攻占大同府，仍以大同为西京，改西京道为西京路，府治、县治未变。西京路辖2府、7节镇、8刺郡、39县，9镇。皇统元年（1141）以西京路隶属元帅府，旧置兵马都部署司。天德二年（1150）改置西京路总管府，后更置留守司。置转运使及中都西京路提刑司。大同府辖大同、云中、宣宁、怀安、天成、白登、怀仁7县。省奉义县为镇，入大同。保大二年（1122）金攻打西京时“天兵一鼓，都城四陷，殿阁楼观，俄而灰之”，辽未以来，再罹烽烬，楼阁飞为埃坌，殿堂聚为瓦砾，前日栋宇所仅存者，十不三四”。金占大同后，为医治战争创伤，大兴土木，修城修寺，规模宏大。经过修整加固的大同城汉池，南门改称奉天，东门改称宣仁，西门改称阜成。对云冈石窟进行整修，“委烟火司差夫三千人改拔河道”，南移，以防水浸石佛。重建云冈十寺，“重修灵岩大阁九楹，门楼四所……凡三十楹……又创石垣五百余步”，此次修寺历时三年半，重修华严寺、大普恩寺。天会十五年（1137）诏建太祖庙于西京。金大定五年（1165）在西京营建宫室，有保安殿、御容殿及西京宫苑。并设阁门使，掌管礼仪祭奠。还设有西京宫苑使。辽金时陪都西京再度兴盛于北方，成为中原与北方少数民族交往的中转站，联系各民族的纽带，大同再度辉煌。
元初大同仍称西京。太祖七年（1212）置警巡院。至元二年（1265）省云中县入大同。元划为省、路、府（州）县四级制，至元二十五年（1288）改西京道大同府为大同路，隶属中书省河东山西道宣慰使司，管辖一领事八州。一领事是录事司，设在大同。属县有大同、白登、宣宁、平地、怀仁五县。八州为弘、浑源、应、朔、武、丰、东胜、云内。上都路管辖今大同和河北部分地区。顺宁府治所蔚州，领灵仙、飞狐、定安、灵丘，广灵。元改天城为天城县，隶属宣德府。后隶属兴和路。大德四年（1300）在西京黄花岭立屯田。六年（1302）立万户府。
明洪武二年（1369）左副将军常遇春攻取大同。明行政区划为省、府、州、县四级制，洪武七年（1374）改大同路为大同府，隶属山西行中书省。九年（1376）改为承宣布政使司。大同府治大同县，辖浑源、应、朔、蔚四州，大同、怀仁、马邑、山阴、广灵、灵丘、广昌七县。宣宁县并入大同县。明军事上实行卫所制，洪武四年（1371）置大同都卫沼白关城。洪武八年（1375）改为山西行都指挥使司。洪武二十五年（1392）徙治大同。初领卫二十六，管辖范围：东至北京的居庸关；西起黄河转弯处的偏关，东西延绵千余公里，南北亦有数百公里。其范围之大，实属九边之首。后领卫十四，有大同前卫、后卫、左卫、阳和、天成、威远、平鲁、云川、玉林、镇鲁、高山、宣德、东胜。洪武二十九年（1396）置公守冀北道，驻大同，嘉靖中移驻朔州。永乐六年（1408）置巡抚都御史。永乐七年（1409）置大同镇，设镇守总兵官，为镇之最高指挥官。成化七年（1471）设巡抚。正德八年（1513）设总制，辖13卫所，823堡寨，307座墩台。大同分4道，辖9路，驻军最多时达135778员，战马51654匹。时有“大同士马甲天下”之称。
清顺治二年（1645）五月，清王派恭顺候吴惟华攻大同，姜襄将驻同农民军将领张天琳等死，投降清军。清大同府治大同县，初因明治，领州四县七，隶属山西布政司，后改为山西省。顺治五年（1648）姜襄降而复叛。次年，多尔衮亲自督战围城达9个多月，城破后，清军对大同进行了最野蛮的屠城，除献姜襄人头的杨震威等23员及其家属外，其他所有官司吏兵民尽行戮，并将大同城墙拆去5尺。大同变成一座荒城，大同废，不立官，府移治阳和卫，名阳和府。大同县移治怀仁县西安堡。直到顺治九年（1652）府县才复还故址，从附近移民逐渐复兴。顺治十三年（1656）裁宣大总督，置山西总督，驻大同。康熙四年（1665）裁总督，并入雁门道。雍正四年（1726）于右玉林卫置朔平府并废除明代卫所，改天镇卫为天镇县，阳高卫为阳高县，左云川卫为左云县，右玉林卫为右玉县，平虏卫为平鲁县。大同府治所大同县，辖浑源、应州，大同、怀仁、山阴、阳高、天镇、广灵、灵丘二州七县和丰镇厅。
大同县辖580村，城东194村，城南177村，城西91村，城北118村。朔平府治所右玉县，辖右玉、左云、平鲁、朔州、马邑。
民国元年（1912）大同废府留县，大同县属北路观察使。
民国2年（1913）5月置雁门道，治大同，辖雁北13县、忻县地区13县，共26县。后晋北镇守使在大同驻扎。
民国16年（1927）废道后，大同为县，直属山西县辖5个行政区，9街585村。
抗日战争时期，大同地区行政区划为三种。日伪行政区划：1937年9月13日上午，日本关东军侵占大同城，10月15日成立伪“晋北自治政府”，隶属伪“蒙疆联合委员会”，统辖雁北13县；1939年9月改为伪“晋北政厅”，隶属伪“蒙古联合自治政府”；1943年又改为伪“大同省公署”，隶属伪“蒙古自治邦政府”。大同县划为2街、22个联合村。
国民党行政区划：1937年9月至1939年12月为山西省每一个行政区和第二行政区。第一行政区治所五台，属县十攻，在大同地区有灵丘、广灵、浑源、应县、山阴、怀仁、大同、阳高、天镇9县。第二行政区治所岢岚，属县十三，在大同地区的有朔县，平鲁、左云、右玉4县。
我党领导下的行政区划：东雁北：1937年年底属晋东北十八县政治主任公署，1938年6月改为晋东北行政督察专员公署，1940年2月成立第二专员公署，属县有灵丘、繁峙、广灵、浑源、应山县。归晋察冀北岳区管辖。西雁北（大同以西）：1937年冬属晋西北根据地，1940年建立晋西北民主政权。
1941年8月属晋西北行政公署，1943年11月，改为晋绥边区行政公署，归晋绥边区管辖。
1945年8月，大同被国民党阎锡山政府所统治，恢复事变前原县建制，仍属山西辖5个区，86个治村。成立卫戍司令部和城防司令部，建立雁北“第二战区长官司令部大同领导组”，管辖雁北各县，分第十、十一两个专署。第十区辖大同、怀仁、阳高、天镇、浑源、广灵、灵丘7县；第十一区辖右玉、山阴、应县、左云、平鲁、偏关6县。行政督察员兼保安司令。
1947年军政分家，改为“山西省政府大同行政公署”，大同县辖4区、30街、70治村。“雁北专员公署”、“雁北城防司令部”驻在大同城内。到1948年雁北13县政府流亡大同，大同城内集中了国民党行政组织机关22个、党务机关7个、特务机关11个。
我党领导下的根据地，改东雁北二专署为第五专署，属县有灵丘、繁峙、浑源、应县、代县、山阴、大同、阳高、怀仁。
1946年5月，第五专署改为冀晋区第一专署，1949年2月，撤销晋绥边区，西雁北划为晋西北区，设置晋西北行政公署雁北分署。
1982年2月16日国务院公布我国首批历史文化名城，大同为24个历史文化名城之一。
1985年1月国务院批准大同市为全国13个较大的市之一。