属宁海州胜水、昆嵛二乡。
1930年属牟平县第十区胜泉乡。
1941年属牟海县第三区，次年改为五区。
1956年，分属乳山县南黄区与文登县虎山区。
1958年末，东西部合建黄海公社，属文登县。次年改称小观公社。
1984年3月撤社设乡，1989年12月撤乡建镇。
1990年末，面积101平方千米，人口15109户、48200人，其中乡村14904户、46967人，辖小观、万家口、鱼池、郐家、于家庄、隋家庄、庙东、北黄、大芦头、小芦头、徐家庄、吴家庄、西店子、东店子、朱家庄、坦埠、北七口、南七口、金花、徐埠头、西瓦砌埠、东瓦砌埠、才院、万家庄、紫草泊、七甲、东炉、生家埠、裴家岛、风口集、榆树底、百寿庄、出林庄、垒子北、垒子、港北涯、西里岛、东里岛、东浪暖、二王家、北稻地湾、吴家、南稻地湾、波罗岛、许家、万家寨、孙家寨47个行政村，50个自然村。
小观镇历史悠久，文化遗存丰富。境内有垒子、孙家寨、万家寨等多处防倭遗迹，爬山顶有延绵数十里的防倭围墙。境内古庙众多，其中郐家西山庙香火尤盛，俗称“南山尼姑（庵），北山和尚（庙）”，民间流传有生动的传说故事。