西周时地属兖州。春秋战国时期，属郯国，归越地，旋为楚域。秦时是朐县的一部分，先后分属薛郡、郯郡。

汉代属东海郡。南北朝时，南朝宋武帝改朐县为朐山县。东魏孝静帝武定七年（549）首设海州于龙苴（今龙苴镇），统辖6郡19个县，灌云县境为东彭城、海西、东海3郡的领地。

北齐年间，海州首邑从龙苴迁至朐山，县境乃为海州辖地。至隋、唐、五代十国、宋、金仍为朐山县的一部分，隶属海州。元朝时属海宁州。明初改海宁州为海州，朐山县撤销，县境并入海州。

民国元年（1912）废州设县，析海州直隶州为东海、灌云二县，县治始设板浦。因南带灌河水，北枕云台山，取二地名首字为县名，与东海、沭阳、赣榆合称海属4县，属徐海道。

1933年3月，江苏省划13督察专员行政区，灌云属东海行政区辖地。

1939年日本侵略军占领灌云县境，成立日伪县政权。

解放战争时期，属苏、皖边区第六行政区，1940年8月我党领导的抗日民主政权灌云县政府成立，隶属于苏皖区党委第二地委。

1941年曾一度改为东灌沭办事处，隶属于淮海专员公署。

1942年6月，恢复灌云县政府。根据当时斗争需要，成立灌东办事处。

1945年，裁撤灌东办事处。

1948年11月7日，灌云县解放。

1949年后属苏北人民行政公署，1953年属江苏省淮阴专署。

1983年实行市管县体制，灌云县划归连云港市管辖。

2005年，将灌云县宁海乡整建制划归新浦区管辖。2009年，调整后的板浦镇划归海州区管辖。行政区划调整后，灌云县行政区域面积1775.25平方千米。

2010年，灌云县管辖的江苏省东辛农场和划归连云港市连云区管辖。