1737年（清乾隆二年），奉天旗人来此垦荒，因其东北0.5公里处有一棵榆树，故得名“小榆树”。

隶属呼兰城正红旗。

1905年（清光绪三十一年），兰西设治时，小榆树已形成小集镇，有工商户52家，居民500余户，隶属南乡一区。

中华民国时期属三保。

东北沦陷后，改设榆林村。

1945年“九三”抗日战争胜利后，1946年将榆林村和朋来村合并设置榆林区，1949年改为第二区。

1956年6月，并村划乡，设置榆林乡，后改为榆林镇。

1958年8月，与城山、大房身乡合并成立榆林人民公社，1966年改称太阳升公社，1980年更名为榆林公社。

1983年8月，改为榆林镇。