在唐代，这里的主要居民是通古斯语族的靺鞨；近现代，岛上除了南部的阿努依人（虾夷人）、近海岸地区有部分基里亚克人（即吉里迷人）外，其主要土著仍为通古斯语诸部。

元代的骨嵬人也是说某种通古斯语的民族。他们大概不像以捕捞为生的吉里迷人那样擅于造舟，所以有时还得坐着吉里迷人制作的“黄窝儿”船，从骨嵬岛浮海来到奴儿干。至元元年，黑龙江下游的吉里迷人报告：“其国东有骨嵬、亦里于两部，岁来侵疆”，世祖命征东招讨使塔匣刺征之，因海流风势难渡而罢。十年，塔匣刺在弩儿哥（即奴儿干）从当地人处得知，须俟冬月赛哥小海（今鞑靼海峡北部）渡口结冻，方可冰上前去，遂奏请进征，不准。二十一年，诏命征东招讨司进讨骨嵬，次年又任命两个招讨使，决定出兵万人往征。二十三年，征东招讨使塔塔儿带、杨兀鲁带率兵万人、船千艘征骨嵬，结果如何不明。大德年间，骨嵬人多次越海劫掠，招讨司官军追之不及。至大元年，骨嵬王善奴等遣人来请求归降，每年贡纳异皮。 元朝将其纳入辽阳行省的管辖范围。