Можно ли доверять LLM как экспертам. Рассматриваю на примере ответов нейросетей с использованием поиска

Я всё чаще ловлю себя на том, что задаю вопрос непосредственно LLM, отказавшись от долгого поиска в интернете, изучения профильных форумов, отзывов и претензий. С одной стороны это гораздо быстрее, ответы выглядят логично, и гораздо легче согласиться с нейросетью, чем тратить силы и время. Но с другой стороны, насколько хорош совет модели? Почему это выбрала нейросеть, и как выбрала? Этим вопросом мало кто задаётся, поэтому я решил навскидку оценить экспертность решения.

Сценарий эксперимента: я выступаю в роли it-фрилансера и мне нужно выбрать облачный провайдер, который лучше всего подходит для маленького проекта. Опрошены основные бренды LLM с доступом к поиску.

Эксперимент

Для всех LLM был использован простой промпт:

Выступи в роли Senior-разработчика. Составь Топ-5 российских облачных провайдеров, которые лучше всего подходят для стартапов, малого бизнеса и индивидуальных IT-специалистов.

Как видно из таблицы, в целом нейросети совпадают в топ 5 провайдеров. Топ лучших по убыванию: Первое и второе место разделили Yandex Cloud и Timeweb Cloud, дальше VK Cloud, Selectel, Cloud.ru. Российские LLM включили в рейтинг Cloud4Y и  Beget, зарубежные, кроме Claude, их проигнорировали.

Оригинальностью отличился Deepseek. А вот Алиса и, что забавно, Gigachat не включили в топ сберовский Cloud.ru. Алиса на первое место поставила Timeweb Cloud, вместо родного Yandex Cloud.

Честно говоря, задавая роль Senior-разработчика, я не ждал чего-то невероятного. И да, форма подачи моделями топа-5 полностью соответствовала установленной роли, но только форма. LLM использовала красивые профессиональные термины, демонстрировала глубокое понимание и критическое мышление, но ни одна из нейросетей не повела себя как настоящий сеньор, не было встречных вопросов, уточнений (я понимаю, что это должен был сделать промпт, но эксперимент должен быть чистым), а самое главное, если очистить ответы от натянутой на обзор интернета псевдологики, то я получил сводку из первых пяти ссылок. То есть LLM, по крайней мере в режиме поиска, не продемонстрировала архитектурную экспертизу, а по сути зафиксировала успех seo-маркетологов, фактически срез медийного присутствия брендов.

Оценка интернет-источников

Судя по ссылкам базовые запросы моделей были “топ Х для малого бизнеса” “Лучшие Х  для малого бизнеса” и так далее. Ничем не хуже и не лучше человеческих поисковых запросов.

Попробуем оценить на какие источники опирались нейросети при формировании топа

Выводы:

• Геотаргетинг (Алиса и DeepSeek):
  Поисковые движки Алисы и DeepSeek оказались наиболее чувствительны к метаданным пользователя (IP-адрес в Казахстане). Вместо стандартной выдачи они подмешали в контекст региональные источники (включая весьма забавную в смысле авторитетности “Нашу газету” из Костаная).

• Уязвимость перед сильным контент-маркетингом:
  Обзорная статья в блоге провайдера Cloud4Y попала в поисковый пул четырех моделей из шести. при этом сам Cloud4Y в итоговый топ-5 не попал. Здесь да, модели проявили (возможно специально выученную) поправку на источник. Хотя Gigachat в результате заменил Cloud.ru на Cloud4Y. То есть, не надо стесняться хвалить себя на своих сайтах. Нейросеть всё равно сделает поправку.

• Разница в поисковых стратегиях (Глубина vs. Первоисточники):

  • DeepSeek ставит абсолютный рекорд по числу затронутых страниц (112 ссылок), используя тактику агрессивного парсинга с жесткой последующей фильтрацией.

  • Gemini в прямом ответе не указала ссылки на источники. При добавлении в промпт требования предоставить ссылки на источники и поисковые запросы, перечень выглядит гораздо беднее чем у других LLM. Есть подозрения, что Gemini частично генерирует их постфактум на основании ответа через обратную рационализацию. А в целом, у меня сложилось ощущение, что Google маскирует механизм выбора ссылок, не позволяя пользователям (и SEO-специалистам) через чат-бота понять, как именно алгоритм оценивает авторитетность источников.

  • Claude и ChatGPT ищут баланс, агрегируя профессиональные СМИ, блоги и живые дискуссии разработчиков (Хабр, Reddit).

Топ-10 источников, сформировавших мнение LLM

Для составления этого рейтинга были проанализировано использование моделями уникальных URL-адресов. Если страница встречалась в топе источников у конкретной LLM, это засчитывалось как упоминание.

Успех статей Cloud4Y в эксперименте демонстрирует, что SEO остается нашим всё для контент-менеджеров. Модель не понимает, хорош провайдер или плох, насколько ангажирован корпоративный сайт, она оценивает только релевантность текста в поисковой выдаче. 

Позиции провайдеров в рейтингах самих источников

Интересно, как LLM обрабатывают конфликт интересов. Несмотря на то, что SEO-статьи Cloud4Y попали в выборку 4 из 6 моделей, в итоговый консенсус-топ этот провайдер не вошел (только на 4-5 места у локальных моделей). То же самое с Serverspace. Две гипотезы: 

1. Этим статьям не хватило подтверждения из других источников.

2. Модели (особенно зарубежные ChatGPT, Claude, Gemini) способны распознавать ангажированность корпоративных блогов (сомнительно).

Полагаю, что Cloud4Y не попал в топ-5 ИИ только из-за малого присутствия в общем медийном поле. При усреднении его хорошие статьи проиграли общей массе. 

А вот если завтра условный ноунейм-провайдер наймет мощную команду SEO-специалистов и закупит ссылки на агрегаторах, LLM с вероятностью 90% начнут рекомендовать его как надежное Enterprise-решение. Нейросети не беспристрастные судьи, а простые ретрансляторы наиболее агрессивной рекламной кампании в индексах поисковиков.

Матрица корреляции ответов LLM с оригинальными рейтингами в статьях

Формула: Состав (С)  % — доля угаданных участников / Позиция (П) % — доля угаданных мест

Обратите внимание на огромный разрыв между параметрами «С» (Состав) и «П» (Позиция). В большинстве случаев совпадение состава составляет 80–100% (модели берут тех же провайдеров, что и в статье). Но совпадение позиций низкое — максимум 60%. То есть LLM используют интернет-источники как основу, но ранжируют по собственному алгоритму. Прямого копирования рейтинга из источника  я не обнаружил. Как работает алгоритм фактического ранжирования сказать нельзя. Учитывая, что при нескольких запросах порядок и состав провайдеров в топе несущественно меняется, полагаю ключевое, это статистическое усреднение + случайность.

А вот теперь ключевой расчёт, для чего я и затеял всю эту суету, беру топ источников с рейтингами, считаю сводный и сравниваю с тем, что дали LLM:

И мы видим, что итоговые рейтинги ИИ и источников практически полностью совпадают. Почему VK Cloud модели переместили на третье место? Две гипотезы: 

1. Нейросети выучили, что Yandex Cloud — крупнейший игрок в РФ и опираясь на свои веса они передвигают его вверх (сомнительно). 

2. Timeweb Cloud лучше позиционировал себя как провайдера для малого бизнеса и стартапов и за счет этого вышел в лидеры. 

Вторая гипотеза не отрицает того, что возможно VK Cloud больше позиционирует себя как enterprise бизнес, что помешало ему в убедить LLM в своей полезности.

Заключение

В нашем случае мы получили от LLM не больше, чем если бы потратили на самостоятельный поиск пять минут. Фактически, модели дали текущий срез топовых ссылок из поисковиков по банальным запросам с легким смещением по промпту. Единственное, произошла небольшая корректировка важности критериев на более подходящие малому бизнесу. 

В статье я оценивал только как нейросети формируют свои ответы при запросе рекомендаций. Насколько экспертны модели в этом вопросе? Думаю не больше, чем статьи, которые они нагуглили.

Так что SEO живее всех живых, а на текущий момент GEO требует лишь изменение формы подачи. Если SEO-шники обманывали алгоритмы гугла и яндекса, то для них ничего не поменялось и с появлением LLM.

P.S. По существу вопроса о лучшем провайдере я ничего не скажу (из всех провайдеров лишь однажды пользовался услугами TimeWeb). Статья не задумывалась как реклама, но обвинений в ней не избежать. Поэтому если какая-то компания хочет оценить, как её видит LLM, готов к сотрудничеству.