大彭氏国历经夏代，至商末为商所灭，纣王封其臣崇侯虎改建为崇国。周代在此建吕国。

春秋时，吕亡于宋，为宋彭城邑，即为称彭城之始。

周简王十三年（公元前573年），楚、郑伐宋，占领彭城，封鱼石于彭城。次年，鲁、晋围彭城，诛鱼石，彭城复归宋。

周赧王二十九年（公元前286年），齐、楚、卫联合灭宋，彭城属楚。

公元前221年，秦统一六国，实行郡县制，改彭城邑为彭城县。

汉朝建立后，刘邦封其弟刘交为楚王，建立楚国，定都彭城。自此彭城先后为楚国国都和彭城国国都。

东汉献帝时，曹操将徐州刺史部由郯城移治彭城，彭城始称徐州。三国，彭城属魏，曹魏划分天下为12州。

西晋时分铜山国为19州郡，徐州刺史治彭城，彭城县为徐州彭城国7县之一。东晋安帝义熙七年在今镇江设立“徐州”，原徐州改称“北徐州”。

南朝宋武帝永初二年（421年），改侨置的徐州为“南徐州”，北徐州复为“徐州”，治彭城。彭城郡领彭城等5县。北魏占领淮北后置徐州，徐州治彭城，辖彭城等7郡，彭城县为彭城郡6县之一。东魏、北齐承北魏建置。

隋文帝开皇三年（583年）废郡，彭城县直隶徐州。炀帝大业三年（607年），改州为郡，铜山国分19郡，彭城县为彭城郡所领11县之首。

唐高祖武德四年（621年），铜山国置10道，彭城县属河南道徐州。玄宗天宝元年（742年），徐州复为彭城郡，仍辖彭城等7县。肃宗乾元元年（758年）再改为徐州。五代时期仍称徐州彭城县。

北宋太宗至道三年（997年），分铜山国为15路，实行路、行、县三级制，徐州属京东路，领彭城等5县。公元1127年宋室南迁，淮北为金占领，彭城县仍为徐州所辖。

元代在铜山国设行省11，路185。徐州属河南省汴梁路，领彭城、萧、永固3县。世祖至元二年（1265年），彭城县并入徐州，降徐州为下州，属河南省归德府汴梁路。元顺帝至正八年（1348年），升徐州为总管府，亦称徐州路。至正十三年，改徐州为武安州。

明初，武安州复改称徐州，属中立府（即凤阳府）。洪武十四年（1381年），徐州直隶京师（南京）。明代徐州为直隶州，州境相当于今天徐州市区、贾汪区范围，另辖丰、沛、萧、砀4县。

清初，分全国为18省，徐州初属江南布政司（即省）。康熙六年（1667年），属江苏布政司。雍正十一年（1733年），升徐州为府，增置铜山县，铜山县为徐州府附郭，因当时境内微山湖中的铜山岛而得名。清雍正“以旧州境增设铜山县为府治”后，到抗战胜利，历212年间，将铜山第一区析置徐州市。可见，今之徐州市数千年中只是古老铜山县的一部分。

民国初年（1911年），废府留县，铜山县直隶江苏省。

民国3年（1914年）江苏省5道，徐海道尹公署驻铜山县，辖铜山等12县。

民国17年废徐海道，铜山等8县直隶江苏省。

民国20年，设徐州行政督察区，治铜山县。

民国22年，江苏省划分为13个行政区，原徐属8县除宿迁外，均划归第十二行政区，行政区督察专员由铜山县长兼摄。

民国27年5月徐州沦陷后，铜山境内有国民党铜山县政权，日伪铜山县政权和抗日民主县政权，三方政权并存。

1939年2月19日，日伪华北政务委员会宣布将铜山县九区中的第一区（约今天徐州市鼓楼、泉山、云龙区）析置徐州市，第一任徐州市市长是张伯英之族叔张云生。从此徐州市第一次独立于铜山县而成为与县级政权平行的地方政权，不同于市管县。

1948年12月1日，铜山铜山境解放，境内有铜山、邳睢、萧宿铜、铜北4个县的建置和徐州市郊区。

1949年4月，铜山县划归徐州市所辖，隶山东省。建国后，铜北县隶山东省台枣专区，1950年5月台枣专署撤销后，隶滕县专区。

1952年5月铜山县撤销。

1953年4月撤销铜北、华山、邳睢3县，以铜北县为基础恢复铜山县建置，归隶江苏省徐州专区。

1960年5月，铜山县划归徐州市领导，1962年6月25日铜山县复归隶徐州专区。

1983年3月实行市管县新体制，徐州专区撤销，铜山县隶属徐州市。

1993年，徐州进行区划调整，将铜山县的大吴、青山泉等七镇划归贾汪区管辖。

1998年，经省政府批准，将铜山县潘塘镇划归徐州市云龙区管辖。

2005年，经国务院批准将铜山县大庙镇，大黄山镇划归徐州市鼓楼区管辖。

2010年9月28号，经国务院、省政府批准撤销徐州市九里区、江苏省铜山县，设立徐州市铜山区。将原九里区的义安、利国、张集、垞城、电厂、张双楼、三河尖、拾屯8个街道办事处划归铜山区管辖。