Платформа «Атом» от Яндекса — интернет, адаптированный для каждого

Только что на YaC 2013 мы анонсировали свою новую платформу «Атом». Она использует множество наших технологий, которые мы создавали для разных задач, чтобы решить одну большую — изменить интернет так, чтобы каждый из нас перестал быть для него абстракцией, а стал человеком со своим характером и интересами. Мы поняли, что у нас есть возможность дать такие технологии всему интернету.

Постепенно мы все пришли к пониманию, что интернет определятся не документами, а людьми. Он связан с реальностью и состоит из потребностей, предпочтений и задач людей — как мир из атомов. Наша программа — о человеке, она выдвигает и проверяет гипотезы о том, чего он хочет, что ему интересно, что ему нужно на конкретном сайте. Она об атомах, из которых состоит сегодняшняя цифровая вселенная. И мы хотим вместе с вами определить, какой должна быть платформа Атом, чтобы она могла решать поставленные перед ней задачи эффективно.

Каждый шаг в развитии наших технологий был необходим для того, чтобы справиться с ростом контента в интернете и уметь показывать человеку подходящие именно ему ответы. В 2009 году мы запустили поисковую платформу Арзамас. Яндекс стал упорядочивать результаты поиска, используя формулу ранжирования для конкретного региона. В то же самое время мы внедрили собственный метод машинного обучения Матрикснет, который сейчас используется уже не только в поисковых технологиях в Яндексе. Например, он применяется компанией «Сейсмотек» для обработки сейсмических данных и ЦЕРНом для анализа распада мезонов. В 2011 году появилась Крипта, которая также создана на основе Матрикснета. Она используется в рекламных технологиях, автоматически вычисляя пол, возраст и другие характеристики человека.

Но не все интересы людей можно описать в формате анкеты, поэтому мы стали заниматься персонализацией выдачи, подстраиваясь под краткосрочные и долгосрочные интересы пользователя. Для этого были запущены поисковые платформы Калининград и Дублин. Это фактически технологии адаптации ресурса под пользователя, которые мы применяем в первую очередь в поиске, меняя выдачу под конкретного человека, сделавшего запрос.

Адаптация интернета под интересы пользователя — это естественный процесс. И сайты начали сталкиваться проблемами, похожими на те, которые возникали у нас. Что показать пользователю, когда много контента? Какую рекомендацию дать, когда на каждом сайте контент примерно одинаковый? Люди по-прежнему выбирают сервисы, которые решают их задачу быстрее, и запоминают те из них, которые дали хорошую рекомендацию.

Хорошо, если сайт имеет хотя бы геотаргетинг и адптируется под регион пользователя. Некоторые начинают вычислять интересы пользователя, явно спаршивая о них. Например, sports.ru каждому новому пользователю задаёт вопрос о любимой футбольной команде.

Самый сложный шаг, который большинству ещё только предстоит сделать, — это работа с большим количеством факторов и нечеткими сигналами об интересах. Рынок уже подходит к необходимости этого шага. Программа Атом, которая использует технологии обработки больших данных и машинного обучения, может помочь его сделать.

Мы можем реализовывать подобные вещи, благодаря сочетанию двух достаточно уникальных факторов. С одной стороны, у нас есть огромное количество знаний о пользователях и их поведении в интернете. С другой — возможность хранить и обрабатывать большие данные в реальном времени. Мы создали эти технологии для себя, потому что без них поисковая компания не может делать качественный продукт. И их сочетание есть, наверное, у пяти компаний в мире. Мы — единственные, кто готов заявить о желании сделать такие технологии общедоступным продуктом.

Почему мы анонсируем свою программу, не рассказывая о том, как применили её на своих сервисах? Если бы мы делали её для себя, то очевидно, что объявляли бы о ней на другой стадии готовности. Но мы говорим о вещи, правила существования которой нужно определять всем вместе.

Открытие Атома в чем-то похоже на открытие Островов. Работая над интеграцией ответов сервисов в Поиск, в какой-то момент мы осознали, что решать задачи пользователей вместе с владельцами сайтов более перспективно. Именно так появились Острова. Когда мы работали над персонализацией, пришло понимание, что нельзя сделать инструмент для решения задач персональным, а сами решения, сервисы в интернете, оставить не персонализованными. Так появился Атом. Сегодня мы рассказываем вам об Атоме для того, чтобы начать делать его вместе.

И Острова, и Атом основаны на понимании изменений в интернете: он все больше связан с реальностью, с задачами людей. Переход от документов к сервисам уже случился. Острова подходят к этому с одной стороны — сопровождают человека по задаче. Атом — с другой: он позволит интернету работать с конкретным человеком, а не с абстракцией. Очевидно, что это помогает решению его задач, причем в широком смысле: и транзакционных, и тех, в которых человека в первую очередь интересует контент.

В обоих продуктах мы принципиально меняем подход создания. Как метафору мы все время используем краудсорсинг: масштабы изменений слишком велики и для того чтобы все работало хорошо, органично экосистеме, нужен вклад всех ее субъектов, всех участников процесса.

Применение наших технологий другими сайтами позволит сделать так, чтобы ресурсы больше соответствовали отдельному человеку — чтобы они стали для него удобнее и интереснее. Рассказывая об Атоме на YaC, мы предложили несколько принципиальных сценариев, по которым может идти такая адаптация: изменение стартовой страницы под категорию пользователей, ранжирование объектов внутри категории, умные рекомендации, базирующиеся на сочетании ранжирования под пользователя и знания предметной области, которой посвящен сайт. Это нечто вроде опорных точек — во что они разовьются, во много зависит от того, что увидят в Атоме вебмастера, работающие с сайтами.

Итог, который видится нам — более того, кажется неизбежным, — это появившееся у всего интернета умение адаптироваться под конкретного человека, зашедшего на ресурс. Пользователю это принесет больше удобства и даст интересный именно ему контент. Сайт, соответственно, сможет увеличить конверсию и глубину просмотра. Если вы про транзакции — человек потратит меньше кликов, добираясь до цели. Если у вас контент-сайт — человек не увидит на нём скучных материалов, с большей вероятностью залипнет, с существенно большей — залипнет надолго. Если вы умный магазин, то благодаря Атому и больше получите, и больше дадите пользователю: он быстрее найдёт подходящий именно ему телефон, а в рекомендованных товарах увидит неочевидный, но симпатичный ему чехол.

Сегодня странно увидеть большой сайт, некорректно отображающийся в разных браузерах. А ещё лет десять назад это было обычным делом. В конце концов, странно увидеть сервис, не поддерживающий логин через соцсети — этого не было еще пять лет назад. Три-четыре года, и человек просто растеряется, не встретив на очередном сайте привычный ему уровень удобства.

Благодаря Атому каждый сможет увидеть контент, который при прочих равных прошел бы мимо него. Рекомендательная составляющая «вытащит» для человека больше того, что он сам уже искал и находил на сайте: это не сузит, а расширит его интересы. Пользователь увидит только те товары или ту информацию, которые ему нужны, интересны и полезны и на которые он готов потратить деньги или время.

Но вряд ли разумно предполагать, что человеку будет интересна вся новая информация. Мы покажем ему ту, которая потенциально может быть ему интересна. Особенно это наглядно на примерах с объектами из реального мира: человек не собирался находить какой-то контент, а мы поняли, что именно ему правильно было бы его показать. Атом не замыкает человека в том, что ему уже известно, а открывает то из неизвестного, что ему понравится.

Невозможно показать человеку весь контент мира, да и это бесполезно: не хочет домохозяйка читать про Warcraft, а сисадмин — про стразы. Но в рамках того, что человек не видит, есть то, что ему было бы более или менее интересно. Мы помогаем поднять наверх то, что имеет шансы его зацепить — и выйти из текущего пузыря.

Если вы хотите расширить сферу интересов туда, где она будет понята и принята человеком, Атом вам поможет. Если вы думаете, что сможете убедить человека в необходимости того, что в действительности ему не нужно, или привести туда, куда ему в действительности не нужно, можете уповать на зомбирование, кнут или другие странные инструменты. 

Все технологии, которыми мы поделимся, будут базироваться на ключевой экспертизе Яндекса — работе с данными: машинном обучении, извлечении данных, создании факторов, оценке статистической достоверности результатов, конвейере экспериментов.

На текущий момент тестирование технологии ведется на нескольких сервисах Яндекса и с рядом внешних партнеров. Количество внешних тестирований будет увеличено, и, когда мы получим стабильные результаты и поймем, что технология готова к масштабированию, то вернемся к вам с проработанными правилами участия. Если вы готовы поделиться своим видением применения «Атома» или подключиться к нашим экспериментам, пишите нам на atom-experiments@yandex-team.ru.