1986年12月被国务院公布为国家历史文化名城。
舜（约公元前22世纪）曾“渔于雷泽，躬耕于历山”。历山即济南市历下区南部的千佛山。所以市内还散落有各种以舜命名的地名，如“舜井”、“舜耕路”、“舜华路”、“舜耕山”等。
进入奴隶社会的商代，社会生产力高度发达。在城子崖一带，建立了谭国。商代末期帝乙、帝辛（纣）克东夷时甲骨文卜辞中的“泺（luò）”字即代表今日的趵突泉，从而把济南泉水有文字记载的历史上溯至3552年前（即公元前1542年）。
西周建国后，行分封制，济南地区属齐国。此时，谭国仍继续存在。中国首部诗歌总集《诗经》中，收有谭国一位大夫所作的讽刺诗《大东》，是现存最早的一篇有关济南的文献。
春秋战国时期，社会发生巨大变革，奴隶社会开始向封建社会过渡。济南属齐国，济南为齐国之泺邑。随后，齐国又把泺邑改为历下，其时著名的齐晋之战，即发生在今济南市南部马鞍山一带。
秦:秦始皇统一天下后，建立郡县制。今济南市区地属济北郡，称历下邑。
2100多年前的汉代改称济南（《史记》）。因地处古四渎之一“济水”（故道为今黄河所据）之南而得名。设立济南郡，此为“济南”一名出现之始。济南郡治设于东平陵（今章丘市平陵城）。西汉文帝十六年（公元前164年）以济南郡置济南国，辖境约当今山东省济南历下区、市中区、天桥区、槐荫区、历城区、长清区、章丘、济阳以及滨州市邹平县等市县。景帝三年（公元前155年）济南王刘辟光谋反被诛，国除为郡。西晋永嘉中，移治历城县（今济南市区）。
东汉，为济南国。灵帝时，曹操任济南相，政绩颇著。
魏晋南北朝时期，济南多处于战乱之中。晋永嘉（307～312年）年间，济南郡治由东平陵移至历城。自此，历城便成为济南地区的政治中心。
南朝宋元嘉九年（公元432年）于济南郡侨治冀州，北魏皇兴元年（467年）复名齐郡。
隋朝开皇三年废郡，改济南郡为齐州，辖历城等10县，治所仍在历城。大业初复置齐郡。唐武德元年（618年）改齐郡为齐州，次年置总管府。贞观元年（627年）撤总管府，贞观七年又置总督府。天宝年间先后改称临淄郡、济南郡，乾元元年（758年）复为齐州。
宋代至道三年（公元997年），分中国为15路，济南属京东路，为齐州（《宋史》）。徽宋政和六年（公元1116年），齐州升为济南府，辖历城、禹城、章丘、长清、临邑5县，治所设历城，为府治之始。被称为“文学之国”（济南二安）、“富饶之地”，为中国赋税最多的地区之一。
金仍置济南府，属山东东路，领历城、临邑、齐河、章丘、禹城、长清、济阳7县。此时，在城北开凿了小清河，直通至海，使济南成为重要的盐运集散地，对后世本地经济的发展产生了重大影响。
元初改为济南路，属元王朝的“腹里”地区，直隶于中书省，领历城、章丘、邹平、济阳4县及棣、滨2州，棣州治厌次（今惠民县），辖厌次、商河、阳信、无棣4县；滨州治渤海（今滨州市），辖渤海、利津、沾化3县。
金元之际，济南仍是文化繁荣之乡。文学家元好问曾写下“羡煞济南山水好”、“有心常做济南人”等颂扬之词。
明初仍为济南府，属山东布政使司（简称行省），洪武九年（1376年）省治由青州移治济南，济南遂成为山东首府，是山东布政使司、都指挥使司及按察使司驻地。
清仍置济南府，雍正二年（1724年）由济南府析出泰安、武定、滨州3州升为直隶州，新泰、莱芜、长清，阳信、海丰、乐陵，商河、利津、沾化、蒲台10县分属3州。光绪年间，济南府仍辖有历城、章丘、邹平、淄川、长山、新城、齐河、齐东、济阳、禹城、临邑、长清、陵县、德平、平原15个县及德州。明清以来，济南府一直为山东的治所所在地。
1840年鸦片战争后，中国沦为半殖民地半封建社会，帝国主义列强纷纷涌入中国，宰割掠夺，济南亦未幸免。
1904年，济南自开商埠。
城市区域随之扩大，工商各业有长足发展。
1911年末，津浦铁路黄河大桥建成通车，济南成为南北交通枢纽。
中华民国成立后，改府为道，济南初属岱北道，1914年改称济南道。
1921年春，王尽美、邓恩铭在济南建立共产主义小组，成为国内建立最早的共产主义组织之一。
1928年5月3日，日军在济南制造了五三惨案，屠济南人民1.2万，每年这一天，济南在济南市范围内，包括各区县，都要拉响防空警报，以示纪念。
1938年，日军侵占济南后，划为11个区，称城内东区、城内西区、城外东区、城外西区、商埠东区、商埠西区、商埠中区、东乡区、南乡区、西乡区、北乡区。
1945年日本投降后，仍为11个区，总面积177.62平方千米。
1945年6月何思源秘密入鲁，并在9月1日返回济南。何思源返回济南后，先是把远在阜阳的国民党山东省政府机关迁回济南，接收了国民党控制下的山东日伪政权。
1948年9月27日，中国人民解放军解放了济南，设立济南特别市。
新华社在10月24日播发了济南战役的战果：毙伤国民党军22423人，俘王耀武以下61873人。美联社对此评论：“自今而后，我党要到何处，就到何处，要攻何城，就攻何城，再没有什么阻挡了。
”
1949年5月改为济南市。下辖第一至第十一共11个区。
1950年改为市区6个、郊区5个。
1951年4月17日，撤销直属乡，设立郊六区。
1954年合并调整为市、郊各5区。
中华人民共和国建立后，中共山东省委员会、山东省人民代表大会、山东省人民政府、政协山东省委员会、济南军区和山东省军区机关、中国人民银行济南分行均设驻于济南，济南继续保持着山东省的政治、经济中心地位。
1991年，设立国家级济南市高新技术产业开发区。
1994年2月，济南被确定为副省级城市。