春秋，属鲁国平阳邑。
西汉，置东平阳县，属泰山郡。
东汉，省入南城县（今属平邑）。
三国魏复置，属泰山郡。
西晋泰始中，羊祜上表，改东平阳县为新泰县，以北枕新甫、西瞻岱岳，取新甫泰山首字得名，属泰山郡，后改属东安郡。
北齐，蒙阴县并入，属琅邪郡。
北魏有两个新泰县，一为今境内之新泰，属北徐州东泰山郡；一为今蒙阴、平邑境之新泰县，属南青州东安郡。
隋初整肃郡县，仅存原北徐州之新泰县，属莒州，大业二年（606年）莒州废，新泰县属沂州；原南青州之新泰县于开皇四年（584年）改称东安县，旋改为沂水县。
唐武德五年（622年），复置莒州于沂水县，新泰县属之。
贞观八年（634年），废莒州，新泰县仍属沂州。
金朝，隶属泰安州。
元朝，入莱芜县，后复置。
清初，属泰安州，雍正十三年（1735年）属泰安府。
1913年，属岱北道（次年改称济南道）。
1925年，属泰安道。
1928年，道废，县直属于省。
1938年，属国民党山东省第十二行政督察区。
1939年10月，中共建立抗日民主政权，初属泰（安）莱（芜）历（城）章（丘）淄（川）博（山）新（泰）七县行政联合办事处。
1940年4月后属泰山区行政专员公署管辖。
1941年9月，因抗日斗争形势严峻，撤销新泰县，其东部的龙廷、北师、岙山、城关4区与蒙阴县北部的野店、高都、大崮、黄庄、张庄、寨子6区合并置新蒙县，汶河以南的五、六两区划归泰宁县，西部的第二、三、四区与莱南县合并置新甫县； 该3县均属泰南区行政联合办事处管辖。
1942年初，新甫县转属泰山专区，1943年1月复属泰南区行政联合办事处。
1943年8月撤销新蒙县，其东部的6个区划归蒙阴县，西北部的4个区与中共新（泰）西工委辖区（未建政权）合并置新泰县，仍属泰南区行政联合办事处。
1944年初泰南区行政联合办事处改为泰南区行政专员公署，隶属关系一仍其旧。同年7月新甫县部分辖区并入新泰县。
1945年10月，泰南专区撤销，新泰、泰宁等县转属鲁中行政区第二（沂蒙）专区，原新甫县则改属泰山专区。这时的新泰县基本恢复了抗战前的行政区划。
1949年6月，新泰县改属泰山专区。
1950年5月，属泰山、泰西两专区合并建立的泰安专区。
1956年3月，撤销徂阳县（1952年8月泰宁县更名徂阳县），其东部西柳、柴城、天宝3区及楼德镇划归新泰县。
1958年12月，泰安专区撤销，新泰县改属济南市。
1960年3月，析新泰县孙村公社及汶南、城关、宫里3公社各一部置新汶市（县级），市机关驻孙村，属济南市管辖。
1961年7月，泰安专区（1967年改称泰安地区）恢复，新泰县和新汶市均属之。
1983年8月，撤销新汶市、 新泰县，二者合并置新泰市，隶属不变。
1985年3月，泰安地区撤销、县级泰安市升为地级市，新泰市由泰安市代管。