夏，县境属雍州地，为熏育占据。商，为龙方地。
周，林胡族占据。春秋战国，县境为白狄故地。
秦，为上郡北境，又改属九原郡，称为新秦。
西汉惠帝五年（公元前190年）于县南设言阳、言阴二县，属西河郡；于西北秃尾河上游东岸设白土县，属上郡。东汉末三县废。
汉，元朔二年（前127），置五原郡。元狩三年（前120）又置朔方，称新秦中。后又在秃尾河下游置圁阳、圁阴、鸿门三县，属西河郡；秃尾河上游置白土县，属上郡。
三国、西晋，为羌胡占据。
东晋十六国，先后为后赵、前秦、后秦、夏政权属地。
南北朝，北魏于县南设石城县（今解家堡一带），北周保定二年（公元562年）移治石龟镇并更名银城县，属上郡；后为西魏地；再后为北周地。置归真郡（今解家堡一带）。
隋，置银城县（今解家堡一带），属雕阴郡。隋大业末年废。
唐贞观二年（公元628年）复设银城县，八年于今县北黄羊城增设连谷县，属胂州；开元二年（公元714年）于县北增设新秦县，七年分新秦县增设铁麟县，十二年新秦兼为麟州治（治所在今杨家城），十四年废州和新秦、铁麟二县；天宝元年（公元742年）复设新秦县并兼为新秦郡治，乾元元年（公元758年）复为麟州，领属新秦（今杨家城）、连谷（今黄羊城）、银城（今解家堡一带）3县。
五代时，县境先后属唐、晋、汉地域，仍置麟州。周、北汉，仍置麟州，与府州、胜州自立，随情势委依于周汉两大政权之间。五代后周州、县移治小堡。
宋，仍置麟州，属于河东路，领新秦、连谷、银城3县。北宋乾德元年（公元963年）州、县又移治吴儿堡，五年（967）再移治杨家城，升麟州为建宁军，后又复还旧制。端拱二年（989）又改麟州为镇西军。政和四年（1114）废银城、连谷两县，并入新秦县。
辽、金、夏为镇西军，后撤销镇西军，改为神木寨（仍在今杨家城，因城外有松树3株故名），先后被金、夏占有。金皇统八年（1148年）废州、县，正大三年（1226年）于今县南花石崖北升弥川寨设弥川县，末年于今县南太和寨升太和寨设太和县，属葭州。
元置云州于神木寨。至元六年（1269），废州为神木县，以葭州领属的太和县（金建，在今太和寨）并入，属葭州，省弥川县入葭州。神木县故治在今县东巽山。清《神木县志》：“因巽山有神树二株”，故名。
明洪武六年（1373），改神木县为神木堡，属榆林卫，洪武十四年（1381）复置神木县，属葭州。隆庆间，置东路神木道于神木，管辖葭州及神木、府谷、吴堡3县。明正统八年（1443年）徙今址。
清雍正九年（1731）神木道改为延绥府道，移驻绥德，神木县属于葭州，后属榆林府。
1914年属榆林道（后改为榆林专署）。
1928年直属省。
1937年设陕甘宁边区神府县。
1949年属榆林分区。
1950年省神府县入神木县，属榆林专区。
1958年省府谷县入神木县，1961年析出复设府谷县。
1969年属榆林地区。
1999年属榆林市。
1936年4月15日，神府特区抗日人民革命委员会成立，统辖神木县城以南及府谷县、佳县、榆林县的部分地区，与国民党统治的神木县并存。
1937年1月，神府特区抗日人民革命委员会改为神府特区苏维埃政府，属中央政府西北办事处领导。
1937年10月在今贺家川镇神府特区苏维埃政府改为神府县政府（属于陕甘宁边区），与国民党统治的神木县并存。
1942年神府县由陕甘宁边区改属晋绥边区代管。
1947年6月高家堡解放后，神府县政府迁至高家堡。
1947年9月神木县城解放，国民党神木县政府瓦解，新的神木县政府成立，与高家堡神府县政府并存。
1950年神府县、神木县合为神木县、治神木城。
1958年神木、府谷两县合并为神木县，县治在神木城，原府谷县城改为府谷镇。
1961年神木县又分为神木、府谷两县，同属榆林专区至今。