Niantic обучает большую геопространственную модель на данных игроков Pokémon Go

Niantic рассказала в своём блоге, что начала обучать большую геопространственную модель, которая поможет роботам и нейросетям лучше понимать мир. В качестве датасета планируют использовать данные игроков Pokémon Go, которые за восемь лет существования проекта отсканировали большинство крупных городов мира.

Авторы проекта отмечают, что люди очень хорошо ориентируются в реальном мире, что позволяет им прокладывать маршруты с учётом ландшафта, узнавать локации по фотографиям и находить дорогу до места, в котором были всего один раз в жизни. Если человеку показать фотографию объекта с двух ракурсов, то он сразу поймёт, что это один и тот же объект.

Нейросети не могут похвастаться такими возможностями из-за того, что они не знают, как выглядит физический мир и из чего он состоит. Инженеры Niantic начали решать эту проблему и разработали нейросеть MicKey. Она может сравнивать объекты, искать в них закономерности и понимать, что ей показывают один и тот же объект, но под разными углами. В некоторых задачах нейросеть справляется даже быстрее человека.

MicKey нужно много данных для обучения, чтобы она могла работать ещё лучше и быстрее. Оказалось, что игроки Pokémon Go собирали необходимые данные на протяжении восьми лет. У Niantic есть фотографии множества достопримечательностей, зданий и улиц по всему миру. К тому же, это не просто одиночные снимки, а фотографии с привязкой ко времени года и сезону. Всё это будут использовать для обучения большой геопространственной модели.

Исследователи компании отмечают, что Niantic сейчас — единственная компания в мире с таким датасетом. Ни у одной организации в мире нет такого количества снимков объектов физического мира с разных ракурсов. Также они подчёркивают, что объекты меняют свой облик на протяжении года. Например, памятник зимой и летом может выглядеть иначе. Для этих случаев у Niantic также есть данные, чтобы обучить модель.

Компания надеется, что её большая геопространственная модель поможет роботам и нейросетям лучше ориентироваться в мире. Например, с её помощью роботы смогут оперировать не точками на карте, а реальными объектами. Также это поможет вывести на новый уровень устройства дополненной и виртуальной реальности.