Краткосрочные и долгосрочные персональные рекомендации

Автор: Роман Зыков, эксперт в области баз данных, независимый AI-консультант LENNUF.ru

Когда мы говорим про персональные рекомендации, мы часто забываем, что они бывают разного типа. В данной статье я рассмотрю основные отличия долгосрочных (long term) и краткосрочных (short term) рекомендаций.

Персональные рекомендации означают, что мы рекомендуем что-то пользователю с учетом его личных интересов учитывая его сигналы. Сами сигналы бывают двух видов — явные (explicit), когда пользователь говорит, что ему нравится (лайк, оценка к песне, отзыв на товар); и неявные (implicit), когда пользователь совершает какие-то действия (посмотрел товар, послушал песню, что-то поискал), по которым мы не можем однозначно оценить нравится/не нравится что-то пользователю. В первых версиях рекомендательных систем было принято пользоваться только явными данными, это видно и по литературе, и по научным статьям того времени. Неявных данных обычно значительно больше — вспомните, сколько товаров вы посмотрели (неявные сигналы) перед покупкой, а потом по скольким товарам вы оставили отзывы (явные сигналы)? Поэтому в последнее десятилетие пошел сдвиг в сторону неявных рекомендаций. Даже представители Netflix 5 лет назад на конференции RecSys объявили о важности таких данных. Как это мы можем заметить? Например, рекомендации на youtube постоянно подстраиваются по те ролики, которые вы смотрели, и под те ролики, которые вы оценили лайками. То же самое делают рекомендательные системы в стриминговых музыкальных сервисов, социальных сетей и интернет-магазинов.

Вернемся к вопросу долгосрочных/краткосрочных рекомендаций. Под долгосрочными интересами я подразумеваю интересы пользователя, которые актуальны на длительном периоде времени. Это могут быть товарные категории, бренды, жанры музыки, музыкальные группы и т.д. Под краткосрочными интересами пользователя — те, которые нужно сиюминутно удовлетворить под его текущие потребности. Например, девушка выбирает сапоги — цвет, длина каблука, толщина подошвы, цена, бренд — вполне подходят под краткосрочные интересы. Оба типа рекомендаций должны эти интересы удовлетворить. Для музыки — ритм, наличие/отсутствия вокала.

Долгосрочные рекомендации

Самая простая реализация заключается в том, что мы храним давность последнего действия (Recency, привет RFM!) и частоту взаимодействия (Frequency) для каждой категории товаров, жанра музыки, группы … Эти две переменные на 80% закрывают потребность в данных для учета долгосрочных интересов. Их очень удобно использовать в “ковровых” рассылках, на главных страницах интернет-магазинов, когда пользователь возвращается на сайт. Уж лучше ему показать товары, учитывающие его прошлые интересы, чем просто бестселлеры магазина. Здесь также можно использовать косвенные источники данных, например, интересы из посещенных страниц.

В техническом исполнении долгосрочные рекомендации не требуют серьезных вложений, как правило их можно пересчитывать с какой-то регулярностью, например, раз в день, пакетным (batch) образом. Алгоритм можно использовать самый простейший, например, линейно взвесив два наши переменные — Recency и Frequency. А затем просто отсортировать по убыванию веса и взять ТОП интересующих категорий.

Краткосрочные рекомендации

Краткосрочные рекомендации выглядят посложнее и поинтереснее долгосрочных. Представьте, вы приходите на сайт и выбираете обувь. В процессе вы кликаете на интересующие вас товары и система рекомендаций пытается определить — какие характеристики товара вас интересуют больше, чем среднестатистического посетителя. Пример такой реализации рекомендаций вы найдете в статье, соавтором которой я являюсь, — “Application of Kullback-Leibler divergence for short-term user interest detection”.

Если кратко, то у алгоритма KL (назову его так для простоты) есть предварительно рассчитанные распределения популярности свойств (цена, цвет, бренд и т.д.). В процессе серфинга пользователя — мы получаем его личные распределения в свойствах товара. Чем это распределение “дальше” от “среднего”, тем выше алгоритм пушит товары с этими свойствами. Какие свойства можно использовать для алгоритма? Кроме обычных свойств товара, которые есть в товарной базе, никто не мешает нам использовать эмбеддинги, рассчитанные на основе текстовых описаний или фотографий товара.

Сложность реализации любого краткосрочного алгоритма — real-time составляющая, что накладывает ограничения на реализацию. Ведь нам нужно реранжировать выдачу рекомендаций после каждого клика. Часть данных для упомянутого KL-алгоритма можно предрассчитывать — распределения свойств товара для среднестатистического пользователя и embeddings и заливать в базу данных раз в день.

В любом алгоритме рекомендаций есть проблема угадываемости/разнообразия (recall- diversity tradeoff). Она заключается в том, что алгоритмы производят слишком однообразную и предсказуемую выдачу в духе Капитан Очевидность. Вспомните, какие треки рекомендует стриминговый сервис — если они слишком однообразны, то становится скучно. Чтобы бороться с этим необходимо либо “перемешивать” выдачу более сложным способом, чем просто отсортировать по весу. Либо использовать тактику explore-exploit из reinforcement learning, когда мы вносим некоторую непредсказуемость в выдачу пользователю. От себя скажу, что улучшения разнообразия (diversity) рекомендаций вносит положительный эффект на реальных А/Б тестах в онлайне.