西周时代：属青州（一说兖州）人方国东夷。

春秋战国时期：先属鲁后楚，属郯子国。

秦代属东海郡，该郡辖朐县、郯城、兰陵、襄贲、缯、下邳、淮阴、盱眙、东阳、堂邑、广陵、凌12个县。

西汉属徐州刺史部东海郡，该郡辖朐县、郯城、兰陵、襄贲、缯、良城、下邳、平曲、戚、开阳、临沂、利城、海西、兰祺、南城、山乡、即邱、祝祺、费、厚丘、容邱、东安、合乡、丞、建阳、曲阳、司吾、于乡、都阳、阴平、吾乡、武阳、新阳、建凌、昌虑、都平、建乡、平曲38个县。

东汉时期隶属于徐州刺史部东海郡，该郡辖朐县、郯城、兰陵、襄贲、戚、利城、祝祺、承、厚丘、合乡、昌虑、赣榆、阴平13个县。

三国魏时属东海国，该国辖朐县、郯城、兰陵、襄贲、戚、利城、祝祺、承、厚邱、昌虑、合城11个县。

西晋时期隶属于徐州东海郡，该郡辖朐县、郯城、兰陵、襄贲、戚、利城、祝祺、承、厚邱、昌虑、合乡、赣榆12个县。

东晋时期属东海郡，先后归于后赵、前燕、南燕、东晋。该辖朐县、郯城、利城、襄贲、祝祺、厚邱、赣榆7个县。

南朝前期属东海郡，该郡辖齐郡、东莞、琅玡、西海、东海、北海郡；南朝后期侨置青州、冀州，辖地同上。

南朝齐、梁侨置：

东莞郡、琅玡郡，辖即丘、南东莞、北东莞3个县

北东海郡，辖襄贲、僮、下邳、厚丘、曲城5个县；

北海郡，辖都昌、广饶、赣榆、胶东、剧、下密、平寿7个县；

齐郡。辖临淄、齐安、宿豫、尉氏、平虑、昌国、益都、西安、泰9个县。

北朝东魏侨置琅玡郡（称海州朐县）：

东彭城郡，辖龙沮、安东、勃海3个县。

东海郡，辖赣榆、安流、广饶、下密4个县；

海西郡，辖襄贲、海西、临海3个县；

沭阳郡，辖下邳、临渣、怀文、服武4个县；

琅玡郡，辖朐、海安、山宁3个县；

武陵郡，辖上鲜、浴安2个县。

北齐、北周置海州：

东海郡，辖广饶、东海2个县；

朐山郡，辖朐山县；

武陵郡，辖上鲜、洛安2个县；

沭阳郡，辖沭阳县；

海安郡，辖襄贲县。

宋太宗至道三年（西元998），分天下为十五路，海州属淮南路。宋神宗熙宁五年（西元1073），分淮南路为淮南东、西路，海州属淮南东路。宋高宗建炎年间（1127-1131），海州为金侵占。宋高宗绍兴三十一年（西元1162），海州复归南宋。宋孝宗隆兴年间（1163-1165），海州再割让金国。宋宁宗嘉定十二年（西元1220），海州再归南宋。宋理宗景定二年（西元1262），海州改为西海州。宋恭帝德祐元年（西元1275），西海州为元所占，复改为海州。

元世祖至元十五年（西元1279），升为海州路总管府，领朐山、沭阳、赣榆（怀仁县改）、东海县及录事司。后改为海宁府。元世祖至元二十年（西元1284），海宁府改为海宁州，录事司与东海县均并入朐山县。海宁州改属淮安府路。元世祖至元二十八年（1292），设立河南江北等处行中书省。海宁州属河南江北行中书省淮东道宣慰司江北淮东道肃政廉访司淮安路。元顺帝至正二十七年（1367），海宁州归吴，属江南行中书省。

明太祖洪武元年（1368），海宁州复改名海州，属淮安府，废朐山县，沭阳县直属淮安府。海州至此保有州治和赣榆县，从唐贞观元年（西元627）以来的局面从此被打破，相当于今天连云港区、赣榆县、东海县、灌云县、灌南县。同年，废江南行中书省，海州属中书省淮安府。明太祖洪武十三年（1381），废行中书省，淮安府归六部直辖。明思宗崇祯十七年（1644），海州为满清侵占。

清顺治二年（1645），设江南省，属江南省淮安府。清康熙六年（1667），江南省分出江苏省，海州属江苏省淮安府。清雍正二年（1724），海州升为直隶州，统州治及赣榆、沭阳二县，脱离淮安府管辖，相当于今连云港区、赣榆县、东海县、沭阳县、灌云县、灌南县、响水县。

民国元年（1912年），改海州直隶州为东海县。县治设于今海州区。因东濒大海，故称东海。

1912年4月，析县境东部11镇设置新县灌云县。东海县初属江苏省徐海道，后属江苏省第十三、第八行政督察区。

1933年，陇海铁路终端港建成。

1935年国民政府将东海、灌云各划出一部分成立连云市，区域：临洪口以南，烧香河以北，东至东西连岛，西沿临洪河新浦、板浦以东为范围。为江苏省第三个省辖市和全国较早的省辖市（民国时期市县平级）。

抗日战争时期，由于日军封锁陇海铁路，东海县境域被分割成南北两部分。以陇海铁路为界，中国我党先后建立了两个抗日民主政府。铁路南于1940年11月建立的东海县民主政府属华中局淮海区，大部分地域属沭阳县，包括今东海县安峰镇、曲阳乡、房山镇、平明镇和张湾乡南部。铁路北于1941年8月建立海陵县民主政府，先后属山东省鲁中南行政区、滨海区、临沂专区。

1945年11月，海陵县更名为东海县（1949年5月，路南东海县撤销，其所辖区域并入沭阳县和灌云县，此后，只有一个东海县，属山东临沂专区。陇海铁路北县境西部1933年后属郯城县，包括今桃林镇、山左口乡和李埝乡西部）。

1946年4月1日，连云市第一任市长张振汉到任。（因爆发抗战，连云市筹备被迫中止，故1946年才出现市长）

1948年11月20日，中共鲁中南行署转山东省政府命令：东海县境划新浦、海州、连云港、云台山地区设立新海连特区。

中华人民共和国成立后，仍属山东鲁中南行政区。先称新海连特区后称新海连市（1949年11月建立），辖新海市、连云市、云台办事处（后又分前云台区、后云台区）两市一区。

新海连市时，辖新华区、民主区、锦屏区、浦西区、云台区、连云区等7个区。

1950年5月，新海连市和东海县合并为新海县，年底恢复新海连市和东海县建制，隶属山东省临沂专区。

1953年1月1日起划入江苏省，属徐州专区管辖，1961年10月1日，新海连市面向连岛、背倚云台山，因港得名改连云港，1962年升为江苏省辖市。

1983年国家地市体改时，江苏省将原徐州地区的赣榆、东海两县与原淮阴地区的灌云县划归连云港；1996年江苏省又将淮阴市的灌南县划归连云港，辖四县四区。

2001年10月1日国务院批准，撤销云台区，将云台区的朝阳镇、徐圩镇、板桥镇和中云街道划归连云区管辖，南城镇、花果山乡、云台乡和猴嘴街道划归新浦区管辖。

2014年5月，经国务院批准，撤销赣榆县，设立连云港市赣榆区；撤销新浦区、海州区，设立新的连云港市海州区。