西汉初，依秦建制，兰州仍为陇西郡辖地。汉武帝元狩二年（公元前121年），霍去病率军西征匈奴，在兰州西设令居塞驻军，为汉开辟河西四郡打通了道路。昭帝始元元年（公元前86年），在今兰州始置金城县，属天水郡管辖。汉昭帝始元六年，又置金城郡。汉宣帝神爵二年，赵充国平定西羌、屯兵湟中后，西汉在金城郡的统治得到加强，先后又新置七县。

东汉光武帝建武十二年，并金城郡于陇西郡。汉安帝永初四年，西羌起义，金城郡地大部被占，郡治由允吾迁至襄武（今甘肃陇西县），十二年后又迁回允吾。东汉末年，分金城郡新置西平郡，从此，金城郡治由允吾迁至榆中（今榆中县城西）。

西晋建立后，仍置金城郡。西晋末年，前凉永安元年（314年），分金城郡所属的枝阳、令居二县，又与新设立的永登县，在今兰州市红古区窑街附近三县合置广武郡。同年，金城郡治由榆中迁至金城，从此金城郡治与县治同驻一城。

隋文帝开皇三年（583年），改金城郡为兰州，置总管府。因城南有皋兰山，故名兰州。隋炀帝大业三年，改子城县为金城县，复改兰州为金城郡，领金城、狄道二县，郡治金城。大业十三年（617年），金城校尉薛举起兵反隋，称西秦霸王，年号秦兴，建都金城。不久迁都于天水，后为唐所灭。

唐统一中国后，于唐高祖武德二年（619年）复置兰州。八年，置都督府。唐高宗显庆元年（656年），又改为州。唐玄宗天宝元年，复改为金城郡。唐肃宗乾元二年，又改金城郡为兰州，州治五泉，管辖五泉、广武二县。唐代宗宝应元年，兰州被吐蕃占领。唐宣宗大中二年，沙州敦煌人张义潮起义，收复陇右十一州地，兰州又归唐属。然而此时的唐朝已经衰落，无力西顾。不久又被吐蕃占领。

北宋真宗、仁宗年间，党项族屡败吐蕃诸部。宋仁宗景祐三年（1036年），党项元昊击败吐蕃，占领河西及兰州地区。宋神宗元丰四年（1081年），北宋乘西夏朝廷内乱，调军攻夏，收复兰州。此后宋、夏隔河对峙，时相攻伐。

南宋高宗绍兴元年（1131年），兰州在宋廷统治半个世纪后，被金将宗弼（即金兀术）攻占。此后兰州虽曾在金大定元年（1161年）被宋收复过，但旋即丢失。因此，南宋后兰州又进入了金与西夏新一轮的争夺之中。直至金哀宗天兴三年（1234年），蒙古灭金，占领兰州。

明太祖洪武二年（1369年），明军战败元军，攻取兰州，次年置兰州卫。洪武五年，置庄浪卫；建文帝元年（1399年），肃王朱楧率甘州中护卫移藩兰县（兰州），以三分军士守城，七分军士屯田，加之东南诸省移民不断移兰屯垦，兴修水利，促进经济发展，人口增殖，至成化时兰州“城郭内外，军民庐舍不下万馀区”。

清初依明建制，兰州隶属临洮府，卫属陕西都指挥使司。顺治十三年裁卫归州。康熙二年复设兰州卫。

康熙五年（1666年）陕甘分治，设甘肃行省，省会由巩昌（今陇西）迁至兰州。从此，兰州一直为甘肃的政治中心。

乾隆三年（1738年）临洮府治由狄道移至兰州，改称兰州府，又改州为皋兰县。当时兰州府辖管狄道、河州二州；皋兰、金县、渭源、靖远四县。

乾隆二十九年，陕甘总督衙门自西安移驻兰州，裁减甘肃巡抚。自此兰州成为西北政治、军事重镇，用以“节制三秦”、“怀柔西域”。

辛亥革命后，于民国二年废府州设道，并兰山、巩昌二府为兰山道，辖管皋兰、红水、榆中、狄道、导河、宁定、洮沙、靖远、渭源、定西、临潭、陇西、岷县、会宁、漳县等十五县。道尹驻省会皋兰县。

民国十六年改道为区，变兰山道为兰山区。

民国二十五年，划甘肃省为七个行政督察专员公署，皋兰、榆中属第一行政督察区，专署驻岷县。

民国三十年，将皋兰县城郊划出，新设置兰州市，与皋兰县同治今兰州城关区。市区面积16平方公里，人口17.2万余人。

民国三十三年，市区扩大，东至阳洼山，西至土门墩，不含马滩，南到石咀子、八里窑、皋兰山顶，北至盐场堡、十里店，面积达146平方公里。

1949年8月26日，兰州解放。从此兰州进入了一个新的历史时期。建国以来，兰州市建置曾几度变更。兰州市现辖城关、七里河、安宁、西固、红古五个区以及榆中、皋兰、永登三个县。

2012年08月20日，国务院以国函【2012】104号文件印发了《国务院关于同意设立兰州新区的批复》，同意设立兰州新区，原则同意《兰州新区建设指导意见》。