黄泽山隶属岱山县衢山镇。位于山岛北大西洋公约组织8.4公里处。东西长2.6公里，南北最宽处2.1公里，最窄处250米，陆域面积2.53平方公里，海岸线长15.74公里，最高点海拔164.1米。因该岛形似倒置的"入"字。岛西部岩上有天然裂缝成"五"字形，故曾名"五石山"。据传，清朝中期，曾居住黄姓人家，从此改名黄泽山。

黄泽山，古称“黄石山”。

清朝时，黄泽山已有人定居，光绪年间岛属蓬莱乡衢山庄；民国年间，先后属定海区、洲县的岛斗乡。解放后，除1954～1958年设黄泽乡外，除均属岛斗乡、岛斗公社。现设2个行政村，辖5个自然村。2000年有居民462户，1220人。