三国吴元兴元年（264年），领方县改为临浦县，合山属郁林郡临浦县。
两晋至隋，复称领方县，合山属郁林郡领方县。
唐贞观五年（631年），合山为邕州都督府羁縻思刚州属地。
宋天禧四年（1020年）至民国，合山为宾州安城郡迁江县属地。此后历经元、明、清一直不变。
民国时期，合山随迁江隶属的改变而改变。元年（1912年）隶属武鸣府。2年隶属柳江道。19年隶属宾阳民团区。21年4月隶属南宁民团区。23年隶属南宁行政监督区。29年隶属柳州行政监督区。38年隶属第十一区，区治武鸣，
中华人民共和国成立初期，合山仍随迁江县变更隶属。
1950年隶属武鸣专区。
1951年1月25日隶属南宁专区，8月10日隶属宾阳专区。
1952年6月，中共宾阳专区委员会口头宣布迁江县（包括合山在内，下同）的五个区划归宾阳专区上林县。7月撤迁江县，其行政区域并入来宾县。11月，原划出的五个区也划归来宾县。
1981年6月29日，国务院批准成立合山市。合山市隶属柳州地区，于1982年1月1日正式挂牌办公。