张公山是历史文化名山涂山山脉的组成部分，有着悠久的历史，据《怀远县志》记载：明朝嘉靖年间此山就叫张公山，山下一湖，名化陂湖，现更名为张公湖。相传，明朝有个张姓战将，解甲归田，隐居山下，由于他德高望重，当地百姓尊称张公，张公山因此得名。
清朝，张公山顶建有寺庙，每年还有一次初春庙会。该庙原名“寺山庙”，后改名“中岳庙”，又改为“观音庙”。由于庙的基础南高北洼，庙门朝北，当地百姓又称之为“倒座观音庙”。
民国27年（1938年）日军侵占蚌埠后，寺山庙遭到彻底毁坏。
1973年，蚌埠市政府决定利用张公山与化陂湖的自然风景和优美环境，将此山辟为公园，1975年建园工程全面开工。
1983年7月1日，张公山公园正式对外开放。
从1986年以来，张公山公园各项基础设施和景点建设日益完善。先后建成了湖滨餐厅、水榭长廊、园中园、望淮塔、儿童乐园、月季园、动物园等。
2009年被国家旅游局授予国家AAAA级风景区称号。
2012年，经蚌埠市政府会议研究，对张公山景区进行提升改造。