早在新石器时期，铁山这块土地上就有人类生活、繁衍。
夏商时，铁山属荆州之域；周时，属楚国境内。秦昭王二十九年（公元前278年），地在南郡境内；
公元前224年，秦始皇分楚地为四郡，江畔属南郡，地为南郡属地。
汉高祖六年（公元前201年），汉分南郡置江夏郡，统14县，有鄂县、下雉县等，地在鄂县境内。
三国时代，后汉章武元年魏黄初二年（公元221年），吴王孙权自公安迁鄂，改鄂为武昌，并割鄂之南建阳新县，以武昌、下雉、阳新、柴桑、沙羡、浔阳6县为武昌郡，地在武昌郡境内。
魏黄初四年（公元223年），孙权将郡冶迁至夏口（今汉口），改武昌郡为江夏郡，地在江夏郡境内。
西晋太康元年（公元280年），又改江夏郡为武昌郡，以武昌、鄂县、阳新、沙羡等7县属之，地在武昌郡境内。东晋安帝义熙元至五年（405-409年），下雉县并入阳新县，将江夏郡改为武昌郡，地属武昌郡阳新县管辖。
南北朝时期，宋、齐、梁、陈时，地隶属关系均无变动。隋文帝开皇九年（589年）改江夏郡为鄂州，改阳新县为富川县，地属鄂州富川县。
隋文帝开皇十八年（598年）改富川县为永兴县，地属鄂州永兴县所辖。隋炀帝大业三年（607年），将鄂州改为江夏郡，地属江夏郡永兴县所辖。
唐高祖武德四年（621年），又改江夏郡为鄂州，地在鄂州永兴县境内。唐哀帝天佑二年（905年），吴国（关王杨行密）将永兴县和武昌县划出一块地盘，设置青山场院进行大规模采矿，开炉冶炼，地属鄂州吴国所辖。
五代十国时期（907年～960年），地先属吴国所辖，后属唐国所辖。宋乾德五年（967年），定名“大冶县”，地属大冶县四会乡所辖。
元、明、清三代，一直为大冶县四会乡所管辖。
民国二十一年，大冶县划分为10个区，地属大冶县第10区，辖铁山、金桥、南河、松山、鳌山5个堡。
1932年，大冶县建立苏维埃政府，地属大冶县盛碧区（原第三、第十区），辖铁山、金桥、南河、松山、鳌山、杨泽、桐城、杨岭、凤凰、七花、泉矿、吕甫、长虹等13个堡。
民国三十八年（1949年），大冶县设3个区，15个乡，2个镇，地为大冶县铁麓乡。
1949年5月1日中国人民解放军解放石黄镇。不久，经中原临时人民政府批准，设置湖北大冶特区办事处直属中原临时人民政府。
1949年l0月，成立湖北省大冶工矿特区人民政府。
1979年4月成立铁山区（县级）。