1996年，面积4.2平方千米，人口1.04万，办事处驻西山，辖桥南、南门、碧山、书院、仙源桥、石门口、潘家冲7个居委会。2004年辖南门、碧山、书院、财源塔4个社区，石湾、上甲、江源、西山、河西、碧山岭、万宜、石门口、石成金、五里墩、柳冲、滴水井12个行政村。2005年，将原转步乡的枫树塘村划入西山街道；调整后，西山街道辖4个社区、13个行政村，总面积38平方千米，总人口3.8万人，办事处驻左权路。

2015年，西山街道更名为仙岳山街道，其管辖范围及办事处驻地不变。