1805年起,西方殖民者开始到岛上抓拉帕努伊人当奴隶。起初还只是偶尔为之,1862年,秘鲁海盗乘八艘船只而来,抓走了一千多名拉帕努伊人,男性拉帕努伊人几乎被一网打尽,这些人被运到秘鲁,卖给了当地奴隶主。在国际舆论的谴责下,秘鲁政府不得不命令奴隶贩子将这些拉帕努伊人放回,但这批拉帕努伊人已死得只剩下100人左右了,在返回复活节岛的途中,又染上了天花,在旅途中纷纷病死,只有15人回到家乡。这15人也把天花带到了复活节岛。传说中的创始酋长霍图·玛图阿(Hotu Matu'a)的最后一批后裔死去了,所有的酋长、祭司也都死去了。岛上居民只剩下了数百人。