上古时期，肃北境域属“三危”地。

春秋时期，中原地区将此地泛称为“瓜州”，为西戎、羌人等族领地。

战国时期，月氏迁居至河西走廊至瓜州一带，时肃北境域属小月氏。

秦代，乌孙占据肃北南部党河流域；匈奴西迁，马鬃山地区属匈奴。

西汉初年，匈奴三败月氏，占据河西走廊，肃北境域全属匈奴。汉武帝元狩二年（前121年），霍去病北击奴，河西归入西汉版图。元鼎六年（前116年）设置敦煌郡，下设六县。今肃北石包城一带属广至县，鱼儿红一带属冥安县，党城湾至别盖一带属龙勒县，盐池湾一带由羌人占据，马鬃山地区大部分属渊泉县管辖，明水一线属西域都护府辖地。此统属关系延续至曹魏政权末期。

西晋泰始初年（265年至274年），肃北党城湾地方置昌蒲县，管辖别盖、党城至沙枣园等地；马鬃山阴凹峡（原写莺窝）设伊吾县，管辖马鬃山地区一带；改冥安县为宜安县，增设阳关县、新乡县、会稽县诸县，石包城一带属宜安县，鱼儿红一带属会稽县。

东晋隆安四年（400年），敦煌太守李暠拥兵自立，建立西凉政权。西凉统领十二郡一县，其中武兴郡在今别盖桥头子一带，武威郡在今党城湾一带，张掖郡在沙枣园一带。

隋初在河西置凉、甘、瓜三州分领各县。隋炀帝大业五年（610年）改州为郡，石包城、马鬃山、党城、别盖属敦煌郡领，盐池湾属西海郡治。

唐武德五年（623年）改敦煌为西沙州。贞观元年（627年）分全国为十道，西沙州属陇右道。贞观七年（634年），改西沙州为沙州和瓜州。今肃北党城、别盖一带属沙州子亭镇（县以下军政单位），镇治设在党城湾；石包城一带属瓜州常乐县；大龚岔、石坂墩属新乡镇；马鬃山地区直属瓜州管辖，其中阴凹峡一带设百帐守捉，滚坡泉一带设豹文山守捉；盐池湾地区为吐蕃牧地。神龙元年（705年）设豆卢军于沙州，墨离军于瓜州，子亭镇（党城）驻有豆卢军军旗，新乡镇（大龚岔）驻有墨离军军旅。安史之乱时边兵内调，吐蕃于广德二年（765年）至大历十二年（777年）先后攻占了沙州、肃州、新乡镇、子亭镇等地，今肃北全境为吐蕃占据。大中二年（849年）沙州人张义潮借吐蕃内乱，占领瓜州、沙州，唐朝在沙州成立归义军节度，肃北全境为沙州节度使管辖。

北宋景祐二年（1036年）至嘉祐二年（1058年）西夏先后占据肃州、瓜州、沙州，肃北党城湾、别盖、石包城、马鬃山等地为西夏西平军司管辖，盐池湾一带由草头鞑靼占据。南宋嘉定十四年（1221年），蒙古灭西夏，瓜州、沙州被黄头回纥所占领。

元至元十二年（1276年）秋，回纥、草头鞑靼皆归属元朝，肃北全境纳入元朝版图。至元十四年（1278年）升沙州为沙州路，今肃北全境属之。

明洪武三年（1371年）至永乐二年（1405年），明廷先后在嘉峪关以西以南之地设置关外七卫，对元裔或土酋授官赐印，世袭职贡：今肃北马鬃山南部、鱼儿红地方隶赤金蒙古卫管辖，党城、别盖一带归沙州卫管辖，石包城、盐池湾一带属罕东卫管辖。嘉靖七年（1529年），明政府封闭嘉峪关，弃关西诸卫地。疏勒河流域以西的石包城、盐池湾地方为西喇郭勒蒙古人占据。党河下游、沙州、瓜州及马鬃山地区为哈密辉和尔的大小酋长占据。

清康熙三十五年（1697年），清军征服关外诸部，西喇郭勒诸蒙番皆降。康熙五十七年（1719年）在西喇河设柳沟通判。雍正二年（1724年）相继设关外五卫，后又将诸卫改称，或合并为府、州、县，今肃北南片划归沙州卫辖，北片马鬃山划归安西卫（安西直隶州）治，其中肃北鱼儿红地方属玉门，石包城地方属安西，党城、别盖、盐池湾、色尔腾地方属敦煌，马鬃山地方属安西。

民国元年（1912年），废肃州直隶州，今肃北辖地分属玉门、安西、敦煌三县。

民国二十六年（1937年）9月，设立马鬃山设治局。

民国二十七年（1938年）3月易名为肃北设治局，为六等县级，属七区专员公署（酒泉行政公署）管辖。

1949年10月25日，肃北蒙民临时自治委员会成立。

1950年7月20日，设立肃北自治区（县级），隶酒泉专员公署。10月，撤销肃北设治局。

1953年10月，肃北自治区易名肃北蒙族自治区。

1955年7月25日，肃北蒙古族自治县成立，隶酒泉专员公署。10月7日，酒泉、武威专区合并为张掖专区，肃北蒙古族自治县隶属张掖专区。

1960年，酒泉专区恢复，肃北蒙古族自治县人民委员会隶酒泉专区治。

1978年，撤销酒泉专区，成立酒泉地区。

2002年，撤销酒泉地区，成立地级酒泉市，肃北县属之。