西周时属兖州，春秋时属鲁国，战国时属齐国，秦朝时属薛郡爱戚县。 到三国时属兖州山阳郡巨野县。
公元265年属兖州高平国巨野县。公元395年分属兖州高平郡巨野县和兖州任城郡任城县。
公元612年分属兖州东平郡巨野县和兖州鲁郡任城县。公元741年，分属河南道郓州东平郡巨野县和河南道鲁郡任城县。
公元907年分属河南道郓州东平郡巨野县和河南道兖州鲁郡任城县。公元952年分属河南道济州巨野县、任城县，1074年属京东西路济州巨野县、任城县。
公元1147年，在巨野、任城二地置县，治所设在山口镇，定名为嘉祥县，时属山东西路济州。公元1252年属山东东西道东平路总管府。
1266年改属济州。1279年属济宁路单州。明初隶属未变。1371年属山东布政司济宁府。1385年属兖州府。清初属山东省兖州府济宁州，1724年属济宁直隶州。1735年属曹州府济宁州。1735年属兖州府济宁州。1776年复属济宁直隶州。
1913年属山东省岱南道，1914年改属济宁道。
1928年5月，直属山东省。
1941年，国民党嘉祥县政府隶属山东省第二专署。
1938年11月，日伪嘉祥县公署隶属日伪山东省公署鲁西道尹公署。
1939年7月，日伪嘉祥县公署隶属日伪山东省公署兖济道尹公署。
1944年10月，嘉祥县抗日民主政府成立，隶属冀鲁豫十一专署巨南办事处。
1945年11月，隶属背鲁预三专署。
1946年1月，隶属冀鲁豫七专署，1946年3月，隶属冀鲁豫二专署。
1946年11月，隶属冀鲁豫七专署。
1949年8月，嘉祥县属平原省湖西专区。
1952年11月，属山东省湖西专区，1953年8月，属山东省济宁专区。
1958年11月撤销嘉祥县建制，大部地区并入济宁市；1962年1月，恢复嘉祥县原建制，仍属山东省济宁专区。
1967年2月，嘉祥县属山东省济宁地区。
1983年10月，嘉祥县属山东省济宁市。