白山乡，因境内有座“白土山”得名。白土山一带，清代属齐齐哈尔副都统辖区。中华民国时期，先后隶属龙江县第三区和第二区管辖。东北沦陷后，初隶朱家坎保，1938年4月改隶朱家坎村。

1945年“九三”抗日战争胜利后，1946年6月隶属朱家坎区，1948年改隶第三区。

1956年3月，并村划乡，设置白山乡。

1958年6月，将靠山乡并入白山乡，同年9月与后道老乡合并成立白山人民公社。

1960年将东部地区一部分生产大队划出，设置黑岗公社。

1984年5月，将白山公社改为白山乡。