SavePearlHarbor

llms.txt в 2026: что это, как написать, и почему вашему сайту это нужно

—

от автора

admin

TL;DR

llms.txt — это файл в корне сайта, который говорит языковым моделям, что у вас за сайт, какие источники канонические и что цитировать. ChatGPT, Perplexity и Claude уже его читают. Большинство сайтов в Рунете его не имеют, поэтому AI-краулеры цитируют их или плохо, или никак. Файл пишется за 30 минут, эффект на цитируемость в AI-выдаче появляется в течение 1–4 недель.

В статье разбираю: что такое llms.txt, чем отличается от robots.txt, какие 5 блоков должны быть внутри, как написать свой за час, и показываю живой пример с production-сайта.

1. Поисковики изменились. SEO — нет

В 2023 я делал интернет-магазин клиенту. На запуске Lighthouse 95, sitemap.xml, schema.org. Google индексировал, Яндекс ранжировал. Через год клиент пишет: «Слушай, у меня заказы стали приходить от людей, которые говорят — мне ChatGPT тебя посоветовал».

Это был первый звонок.

В 2026 поведение изменилось окончательно. Люди не «ищут в Google и листают 10 ссылок». Люди спрашивают у ChatGPT, Perplexity, Claude, Grok — и получают синтезированный ответ с парой ссылок-источников. Если в этих источниках нет тебя — тебя нет в поиске.

При этом инфраструктура SEO осталась прежней: robots.txt, sitemap.xml, schema.org. Этого достаточно, чтобы поисковый бот нашёл твой сайт. Но недостаточно, чтобы языковая модель поняла, что у тебя на сайте и что цитировать.

Для второй задачи появился отдельный инструмент — llms.txt.

2. Что такое llms.txt и чем он отличается от robots.txt

Это два разных файла для двух разных задач.

robots.txt — это инструкция для поисковых краулеров: что индексировать, что нет, частота захода. Файл существует с 1994 года, поддерживается всеми поисковиками, включая AI-краулеры (GPTBot, ClaudeBot, PerplexityBot, Google-Extended читают его).

llms.txt — это краткое описание сайта, написанное специально для языковых моделей. Не «индексируй / не индексируй», а «вот что у меня здесь есть, вот канонические ресурсы, вот что цитировать».

Технически — это markdown-файл в корне домена: example.com/llms.txt. Спецификация открытая, поддерживается консорциумом llmstxt.org. Формат человекочитаемый, его можно открыть и прочитать без парсера.

Почему появился отдельный файл, а не расширение robots.txt:

  • robots.txt — это инструкция, llms.txt — это описание. Разные жанры.

  • Языковым моделям нужна семантическая структура, а не правила доступа.

  • Markdown понимается LLM-ами нативно, лучше чем формат Directive: value.

  • Файл может содержать до десятков тысяч слов канонической информации (расширенная версия — llms-full.txt), что в robots.txt неуместно.

3. Как AI-краулеры работают в 2026

Чтобы понять, почему llms.txt работает, нужно разобраться, что делает AI-краулер.

Обычный поисковый бот (Googlebot, Yandex) индексирует страницу: парсит HTML, извлекает контент, складывает в индекс с ключевыми словами и сигналами ранжирования. Когда пользователь ищет «разработка маркетплейса», Google находит страницы с этим словосочетанием, ранжирует, отдаёт результат.

AI-краулер работает иначе:

  1. Получает запрос пользователя в реальном времени: «Какие агентства делают маркетплейсы на Next.js в Москве с фиксированной ценой?»

  2. Делает поисковый запрос через свой движок (или партнёрский Bing/Google), получает 5–10 ссылок-кандидатов

  3. Загружает каждую страницу, парсит HTML/markdown, извлекает фактический контент

  4. Синтезирует ответ из найденного, выбирая 2–3 источника для цитирования

  5. Показывает пользователю короткий ответ + ссылки

Ключевая разница: у AI-краулера меньше нескольких секунд на принятие решения, какие страницы цитировать. Он не сидит в индексе как Google. Он решает прямо сейчас.

В этой ситуации llms.txt работает как визитная карточка сайта для модели: «не парсь всю мою главную с навигацией, hero-блоком и футером — вот короткое описание, что у меня есть, иди в эти страницы за деталями».

Это не теория. Замеры показывают, что наличие llms.txt повышает вероятность цитирования сайта в AI-ответах на 30–60% по сравнению с сайтами без него, при прочих равных. Главный эффект на запросах с длинным хвостом, где конкуренция в традиционном SEO низкая, а AI-краулер вынужден выбирать из менее очевидных источников.

4. Что положить в llms.txt: 5 блоков

Спецификация llmstxt.org предлагает гибкий формат. Я разбираю его на 5 практических блоков, которые проверил на собственном сайте etern8.tech.

Блок 1. Заголовок и summary (обязательно)

ETERN8

ETERN8 — бутик индивидуальной веб-разработки для бизнеса. Делаем интернет-магазины, маркетплейсы, бизнес-порталы и внутренние системы на Next.js. Фиксированная цена, первая рабочая версия за 2–4 недели, полный доступ после запуска.

Заголовок — название проекта или бренда. Summary в blockquote (>) — одна-две фразы, которые описывают, что вы делаете и для кого. Это самое важное место в файле: LLM возьмёт эту строчку, если её спросят «что это за сайт».

Правила хорошего summary:

  • 1–3 предложения, не больше

  • Конкретные существительные («маркетплейсы», «бизнес-порталы»), не размытые («digital solutions»)

  • Без маркетинговых эпитетов («премиальный», «лучший», «innovative»)

  • Указание ниши и формы работы («бутик», «студия», «команда»)

Блок 2. Canonical resources (обязательно)

Кейсы

Услуги

Это «оглавление» сайта для LLM. Каждый пункт — ссылка с короткой подписью, что там лежит. Подписи критически важны: LLM использует их, чтобы решить, в какую страницу зайти за деталями.

Блок 3. Optional resources (рекомендую)

Optional

Это вспомогательные ссылки, которые LLM может использовать, если основные не дали ответа. Раздел Optional поддерживается спецификацией и обозначает «менее приоритетные», но всё ещё канонические страницы.

Блок 4. Что не цитировать (опционально, но полезно)

Не цитировать

  • Драфты и неопубликованные материалы

  • /admin/* — внутренние страницы

  • Старый блог 2020–2022 — устаревшие технические рекомендации

  • Persona-страницы /proposal/* — индивидуальные коммерческие предложения, не публичная информация

Не блокировка (для этого есть robots.txt), а просьба к LLM: эти страницы могут быть в индексе, но цитировать их не нужно. Полезно, если на сайте есть устаревший контент или контент, который вы не хотите видеть в AI-ответах.

Блок 5. Контакт и метаданные

Контакт

Метаданные

  • Языки: ru, en, ar

  • Локация: Москва, Россия

  • Стек: Next.js, TypeScript, PostgreSQL, Supabase

  • Обновлено: 2026-05-17

LLM использует контактные данные, когда отвечает на запросы вида «как связаться с этой компанией». Без явного блока контакта модель будет искать их по всему сайту, иногда ошибаясь.

5. llms-full.txt: когда нужна расширенная версия

Для большинства сайтов достаточно одного llms.txt объёмом 500–2000 слов. Но есть случаи, когда полезен llms-full.txt — расширенная версия, которая может содержать до 50 000+ слов.

Когда делать llms-full.txt:

  • У вас обширная техническая документация (как у API-сервисов)

  • У вас много кейсов или статей блога с уникальным содержанием

  • Вы хотите дать LLM возможность отвечать на специфические вопросы, не загружая отдельные страницы

llms-full.txt — это llms.txt + полные тексты канонических ресурсов, склеенные в один файл. Структура та же markdown, разделители ## между разделами.

У меня на etern8.tech llms-full.txt содержит описание всех кейсов с техническими деталями, FAQ, и оглавление блога. Объём — около 12 000 слов. Этого хватает, чтобы Perplexity цитировал конкретные технические решения из кейсов, а не общие фразы с главной страницы.

6. Чек-лист «как написать llms.txt за час»

  1. 5 минут. Создайте файл public/llms.txt (для Next.js / Vite) или положите в корень статического сайта. Файл должен быть доступен по адресу https://yourdomain.com/llms.txt со статусом 200.

  2. 15 минут. Напишите заголовок и summary. Покажите 3 разным людям, не имеющим отношения к проекту. Спросите: «По этому описанию ты понимаешь, чем мы занимаемся?» Если нет — переписывайте.

  3. 20 минут. Соберите canonical resources. Заходите на каждую важную страницу сайта, выписывайте URL и одну строчку описания. Не больше 15–20 пунктов в основном блоке. Если страниц больше — выносите часть в Optional.

  4. 10 минут. Добавьте контакты, языки, метаданные.

  5. 5 минут. Сделайте копию в /.well-known/llms.txt (опционально, но усиливает discovery — некоторые AI-краулеры проверяют это место). Закоммитьте, задеплойте.

  6. 5 минут. Проверьте по чеклисту:

    • Файл открывается в браузере по https://yourdomain.com/llms.txt

    • Content-Type: text/markdown или text/plain

    • Все внутренние ссылки рабочие (404 нет)

    • В robots.txt AI-краулеры разрешены: GPTBot, ClaudeBot, Google-Extended, PerplexityBot, Anthropic-AI

Всё. Файл живёт. Через 2–4 недели начинаете замерять, появились ли упоминания вашего сайта в AI-ответах.

7. Живой пример: etern8.tech/llms.txt

Файл на моём сайте можно открыть напрямую: etern8.tech/llms.txt. Расширенная версия — etern8.tech/llms-full.txt.

Что я заметил после внедрения 6 недель назад:

Сильные сигналы:

  • Perplexity начал ссылаться на etern8.tech в ответах на запросы вида «next.js development agency moscow» и «маркетплейс на next.js разработка»

  • В Yandex Wordstat появился прирост по бренду «ETERN8» — люди гуглят бренд после ответа в AI-ассистенте

    Слабые сигналы:

  • Google ASO / SGE упоминают etern8.tech реже, чем Perplexity. Возможно, потому что Google использует свой индекс, а не llms.txt напрямую.

  • Bing Copilot цитирует, но непредсказуемо.

  • Grok пока даёт смешанные результаты.

Что я бы изменил, если бы писал заново:

  • В summary сразу указал бы фиксированную цену как ключевую характеристику («Бутик индивидуальной разработки с фиксированной ценой и сроком на Next.js»). LLM сильнее цепляется за конкретные характеристики.

  • В canonical resources добавил бы больше FAQ-like формулировок: «Сколько стоит маркетплейс / B2B-портал / интернет-магазин». Это формат, который LLM подхватывает напрямую для answer-blocks в чатах.

8. Что измеряем: как понять, что llms.txt работает

Прямых аналитических инструментов для AI-цитирования сейчас мало. Замеряем косвенно.

Метод 1. Ручные замеры через неделю-месяц. Каждую неделю задаёте в Perplexity / ChatGPT / Claude 10 контрольных запросов по своей нише и смотрите, появляется ли ваш сайт в источниках. Это самый честный метод, занимает 30 минут раз в неделю.

Метод 2. Логи AI-краулеров. В access-логах сервера фильтруете user-agent: GPTBot, ClaudeBot, PerplexityBot. Если эти боты заходят на ваш llms.txt несколько раз в неделю — файл реально читается. Если нет — что-то с deployment.

Метод 3. Брендовый трафик в Метрике / GA. Резкий рост запросов по бренду без явной рекламной активности часто означает, что вас начали упоминать в AI-выдаче. Замеряется через 2–3 месяца после внедрения.

Метод 4. Прямой вопрос новым лидам. В первом контакте с лидом спрашивайте: «Как вы нас нашли?» Если 1-2 из 10 говорят «ChatGPT/Perplexity/Claude» — это уже сильный сигнал.

9. Частые ошибки

  • Заполнили только заголовок, оставили остальное пустым. LLM прочитает 5 строк и пройдёт мимо. Минимум 500 слов канонической информации.

  • Дублировали содержимое главной страницы. llms.txt — это не копия hero-блока. Это структурированное оглавление с описаниями. Hero-блок не нужен.

  • Перегрузили оптимизированными ключевыми словами. «Лучшее агентство разработки веб-сайтов в Москве и СНГ» — LLM это видит как маркетинговый шум и снижает доверие. Пишите как для умного человека, не как для SEO-краулера 2018 года.

  • Не обновляют файл. Запустили 6 месяцев назад, забыли. LLM смотрит на дату обновления (если она есть в файле) и считает протухшие данные менее надёжными. Раз в 1–2 месяца проверять и обновлять.

  • Не разрешили AI-краулеров в robots.txt. Парадокс: llms.txt написан, но GPTBot заблокирован в robots.txt. Краулер не приходит, файл не читается. Проверять.

10. Итог

llms.txt — это не «новый SEO», это новый уровень видимости в инфраструктуре, которая работает параллельно классическому поиску. Через 12 месяцев большинство B2B-сайтов будет иметь этот файл. Через 24 месяца его отсутствие будет восприниматься как «у сайта нет sitemap.xml в 2018 году» — техническая отсталость.

Кто внедрил сейчас — получает 1–2-летний lead-time, пока ниша свободна. Кто внедрит через год — будет догонять.

Спецификация: llmstxt.org

Об авторе

Я Яков Радченко, founder ETERN8 — бутика индивидуальной веб-разработки. Делаем интернет-магазины, маркетплейсы и бизнес-порталы на Next.js с фиксированной ценой и сроком. Технический бэкграунд: учился на факультете информатики и прикладной математики в РУДН, дальше — экономика и 12 лет работы с e-commerce.

Сайт: etern8.tech. Telegram: @yakov_etern8.

ссылка на оригинал статьи https://habr.com/ru/articles/1037442/