Microsoft попросила издателей не блокировать ботов с ИИ

Microsoft попросила издателей и розничных продавцов позволить парсить их сайты. Об этом рассказал вице-президент по продуктам для издателей в Microsoft AI Нихил Колар в рамках мероприятия Programmatic AI, проводимого Ad Exchanger.

Колар считает, что издатели и розничные продавцы должны создавать контент, который может напрямую обращаться к ИИ-ботам, а следовательно, к большим языковым моделям, генерирующим новые формы трафика. В этом случае издателям и продавцам не нужно бороться с растущим потоком поисковых систем на основе ИИ и инструментов, управляемых агентным ИИ.

Владельцам сайтов следует обновить свои файлы robots.txt, чтобы избежать ограничений для краулеров, поскольку запреты могут снизить видимость ресурса для поисковиков на базе ИИ, добавил Колар.

По его словам, сейчас четыре из пяти сайтов блокируют трафик от ботов и ИИ-краулеров. В результате контент или товары становятся недоступны для ИИ-агентов, а сайты оказываются отрезанными от поисковой выдачи и рекомендаций.

В стремлении убедить издателей открыть доступ к сайтам для ИИ-краулеров прослеживается корыстный мотив Microsoft, пишет Ad Exchanger. У американской корпорации есть собственные ИИ-модели и поисковики на базе чат-ботов, поэтому ей нужны данные от издателей для оптимизации выдачи.

Microsoft хочется, чтобы издатели получали справедливую плату за свои данные, продолжил Колар, указывая на Publisher Content Marketplace как на признак добросовестности. 

Об этой инициативе компания объявила в феврале этого года. Publisher Content Marketplace упрощает заключение лицензионных соглашений между издателями и разработчиками ИИ. Сначала Microsoft предполагала, что издатели будут монетизировать свой контент и данные, предоставляя их в пользование Copilot. Однако с тех пор корпорация открыла экосистему для других разработчиков ИИ, и намерена выступить посредником по лицензированию данных пользователей.

Колар указал на различие между использованием данных издателей для «обучения» и «заземления» ИИ-моделей. Если «обучение» описывает создание обширного исходного набора данных, извлекаемого из опубликованного в интернете контента, то «заземление» подразумевает получение информации из надёжных источников по протоколу контекста модели (MCP). Маркетплейс Microsoft будет фокусироваться именно на последнем варианте.

Американская медиакомпания People Inc первой присоединилась к этой инициативе Microsoft, уже заключив соглашения с OpenAI и Meta*. Сама People в настоящее время предоставляет доступ 38 краулерам, блокируя от 30 тыс. до 35 тыс. различных ботов в день. Блокировка всех поисковых роботов предоставляет издателям более сильную отправную точку для заключения лицензионных соглашений, считают в медиакомпании.

_{*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена}