Как AI видит ваш сайт и почему Бизнесу надо это знать

TL;DR: RAG-поиск (Retrieval-Augmented Generation, генерация с подкреплением поиском) – это механизм, при котором AI сначала находит релевантные куски текста на сайтах, а потом уже формулирует ответ на их основе. Модель не знает про ваш сайт заранее – она видит его ровно в момент запроса, если ваш контент выиграл конкурс «какой кусок текста ближе всего по смыслу к вопросу пользователя». Дальше в статье – как именно AI решает, нужен ли поиск, что происходит с найденным текстом и что реально управляет тем, увидит ли AI ваш сайт вообще.

Ваш сайт хорошо индексируется в Google, трафик стабильный, а в ответах ChatGPT или Google AI Overview вас просто нет. При этом конкурента с текстом в два раза хуже – цитируют. Знакомая ситуация?

Я Пётр Гришечкин, эксперт в области SEO. Последние 15 лет я проектирую системы кратного роста трафика для крупнейших сайтов. И последнее время пишу всякие околоSEO статьи – заходите в мой канал.

Причина обычно не в качестве контента как такового. Причина в том, что вы оптимизировали сайт под один механизм (классическое SEO), а AI-поиск работает по другим правилам. Он не читает страницу целиком, не запоминает ваш сайт навсегда и не ищет по совпадению ключевых слов. У него своя логика – и если её не понимать, можно годами делать «правильный» SEO и оставаться невидимым для AI-ответов.

Я разберу весь путь: от момента, когда AI решает, стоит ли вообще лезть в поиск, до того, что происходит с вашим текстом после того, как он попал в ответ. И отдельно – что из этого реально можно контролировать через оптимизацию сайта.

Что такое RAG?

RAG расшифровывается как Retrieval-Augmented Generation – генерация ответа, дополненная поиском по внешним источникам прямо в момент запроса. Термин пришёл из статьи исследователей Lewis и коллег из (Meta AI, 2020 год), но сама идея с тех пор стала базовым паттерном для большинства AI-продуктов с доступом в интернет.

Смысл простой. У языковой модели есть два источника знаний. Первый – это то, что она выучила во время обучения на огромном массиве текстов (это называют training data, обучающие данные). Второй – то, что она может найти прямо сейчас через поиск.

Проблема с первым источником в том, что он замороженный. Модель обучили в какой-то момент, и всё, что произошло после (новые цены, новые статьи, обновлённые страницы сайтов) в её «голове» просто нет. Переобучать модель под каждое изменение на каждом сайте в интернете физически нереально: это дорого и долго.

RAG решает эту проблему иначе. Вместо того чтобы «запихивать» новый факт в веса модели, ему просто подкладывают актуальный текст прямо в разговор. Модель читает этот текст здесь и сейчас, как человек читает справку перед тем, как ответить на вопрос.

Из этого вытекает главный практический вывод для владельца сайта: чтобы AI процитировал ваш контент, ваш сайт должен выиграть отдельный маленький поиск в момент чужого запроса. Не один раз при индексации – каждый раз заново.

Шаг первый: AI решает, нужен ли поиск вообще

Вот момент, который обычно упускают в объяснениях RAG, а он критичен. Поиск по внешним источникам – дорогая и медленная операция. Модель не запускает её на каждый вопрос подряд, иначе ответы будут дольше, а затраты на вычисление выше.

Поэтому перед тем как что-то искать, система (это может быть сама модель или отдельный компонент-классификатор, который называют роутером запросов, query router) сначала оценивает сам вопрос. Задача роутера простая: понять, можно ответить из общих знаний или нужен свежий, конкретный факт.

Что триггерит запуск поиска. Слова, связанные с актуальностью – «сейчас», «последний», «в этом году», «сегодня». Упоминание конкретных брендов, цен, адресов, названий компаний. Прямая отсылка к какому-то сайту или документу – «что написано на сайте компании Х про доставку».

Разница на примерах хорошо видна. Вопрос «что такое капучино» модель обрабатывает из training data – это общее знание, поиск не нужен, ответ уже «зашит» в её веса. А вопрос «сколько стоит капучино в кофейне X» запускает retrieval, потому что это конкретный факт, который мог измениться и которого точно не было в обучающих данных в таком виде.

Это первая развилка, где сайт может просто не попасть в игру. Если ваш контент отвечает на вопрос, который модель считает «общим знанием», она даже не пойдёт искать – ответит из головы, и здесь никакая оптимизация страницы не поможет. Отсюда практический вывод: если вы работаете в нише с быстро меняющимися фактами – ценами, наличием, актуальными событиями, локальными данными – у вас объективно выше шанс попасть в RAG-цикл, чем если вы пишете общеизвестные вещи.

Шаг второй: как AI находит нужный кусок текста на сайте

Если роутер решил, что поиск нужен, начинается процесс, который определяет, увидит ли AI именно ваш сайт среди тысяч конкурентов.

Первое, что происходит – текст страницы разбивается на куски, чанки (chunking, от английского chunk – кусок). AI не читает страницу как единое целое. Он режет её на фрагменты – это может быть абзац, блок из нескольких предложений, секция под заголовком.

Зачем резать текст на кусочки? Потому что дальше каждый чанк превращается в эмбеддинг – числовой вектор (набор чисел), который отражает смысл этого фрагмента текста в математическом виде. Тексты с похожим смыслом получают похожие векторы, даже если слова в них разные.

Дальше запрос пользователя тоже превращается в такой же вектор. И система ищет в базе чанков не совпадение слов, а близость векторов – это называется векторный поиск. Побеждает не тот текст, где встретилось больше ключевых слов из запроса, а тот, чей смысл ближе всего к смыслу вопроса.

Это принципиально другая логика по сравнению с классическим поиском по ключевым словам. В классическом SEO вы могли выиграть за счёт точного совпадения фразы. В RAG-поиске выигрывает смысловая близость, и текст может процитироваться даже если в нём нет ни одного слова из запроса пользователя.

После первичного отбора часто идёт ещё один этап – reranking (переранжирование), когда из top-N найденных чанков модель или отдельный алгоритм повторно оценивает их релевантность более точно, прежде чем передать финальный набор в генерацию ответа. Это отсекает «почти подходящие» фрагменты, которые прошли первый фильтр, но при более внимательной оценке оказались менее релевантными.

Практический вывод отсюда прямой: если ваш абзац написан размыто, без чёткой смысловой границы, если одна идея растянута на пять абзацев или, наоборот, пять идей слеплены в один блок – вероятность, что чанк из этого текста выиграет смысловой поиск, ниже. Чёткая структура текста – это не про красоту, это про то, чтобы у вашего контента был шанс попасть в нарезку удачным куском.

Шаг третий: найденный контент грузится в «рабочую память» – но ненадолго

Допустим, ваш чанк выиграл смысловой поиск. Что происходит дальше?

Найденный кусок текста вставляется в контекстное окно модели – это как временная рабочая память, куда помещается всё, что модель «видит» прямо сейчас: сам вопрос пользователя, найденные чанки, инструкции системы. И только на основе этого модель генерирует ответ.

Здесь важна одна деталь, которая часто путает людей: это не дообучение. Модель ничего не запоминает навсегда. После того как ответ сформирован и выдан пользователю, весь этот временный контекст исчезает. Модель «забывает» ваш текст сразу же.

Аналогия, которая мне помогает объяснять это клиентам: представьте сотрудника, которому перед совещанием выдали папку с документами. Он прочитал нужные страницы, ответил на вопросы коллег на основе этой папки, совещание закончилось – папку унесли обратно на полку. Сотрудник не выучил содержимое папки наизусть, он просто использовал её один раз, для одной конкретной задачи.

Следствие для вас как для владельца сайта: следующий пользователь, который задаст похожий вопрос через час, запустит весь процесс поиска заново. Ваш сайт не «застревает» в памяти AI после первого удачного попадания – ему нужно заново выигрывать этот смысловой конкурс каждый раз. Это значит, что нельзя один раз оптимизировать страницу и расслабиться: контент, который перестал быть релевантным, конкурентным по структуре или устаревшим по фактам, начнёт проигрывать в следующих циклах поиска, даже если раньше регулярно цитировался.

RAG против Training Data

Многие путают эти два понятия, а разница между ними определяет, что реально можно контролировать через сайт, а что нет.

Если объяснять простыми словами: training data – это общие знания и здравый смысл, которые модель усвоила при обучении и которые меняются очень медленно. RAG – это актуальная справка по конкретному вопросу, которую модель добывает прямо сейчас через поиск.

Для владельца сайта это разделение критично, потому что оно определяет стратегию. Если ваша цель – попасть в общие знания модели, это долгая история: нужно, чтобы ваш контент массово цитировался, переиспользовался, был на многих ресурсах в момент, когда собирался обучающий датасет следующей версии модели. Вы не контролируете это напрямую и не увидите результат быстро.

А вот попасть в RAG-цикл – это то, на что реально можно влиять здесь и сейчас, через структуру контента, свежесть, техническую доступность сайта для сканирования. Именно об этом стоит думать в первую очередь, если вы хотите, чтобы AI-ответы ссылались на вас в горизонте недель, а не годов.

Query fan-out: почему один вопрос пользователя превращается в десять запросов к вашему сайту

Механизм, который редко объясняют, а он сильно влияет на то, как нужно писать контент под AI-поиск.

Когда пользователь задаёт вопрос, система редко ищет строго по этой одной формулировке. Вместо этого она генерирует несколько вариаций и под-запросов и запускает поиск по каждому параллельно – это называется query fan-out (веерное расширение запроса).

Разберём на примере. Пользователь спрашивает: «кофе без лактозы рядом». Система разворачивает это в целый набор смежных формулировок: «кофе на растительном молоке», «кафе с безлактозными опциями», «капучино на овсяном или миндальном молоке». Поиск идёт по всем этим вариантам сразу, а результаты потом объединяются и ранжируются вместе как единый пул кандидатов.

Зачем так делать? Это резко повышает recall (полноту охвата) – шанс найти релевантный контент, даже если формулировка на сайте не совпадает дословно с тем, как спросил пользователь. Именно на этом принципе строятся Google AI Overviews: система не надеется на одну точную фразу, она «прощупывает» тему с разных сторон.

Практическое следствие для контента прямое. Если ваша страница про кофе без лактозы использует только фразу «кофе без лактозы» и больше никаких синонимов, вариаций, смежных формулировок – вы теряете значительную часть трафика от query fan-out просто потому, что под-запрос «капучино на овсяном молоке» физически не найдёт совпадения в вашем тексте по смыслу, если тема не раскрыта достаточно широко.

Отсюда правило, которое стоит взять на вооружение: закрывайте тему разными формулировками и синонимами в тексте, а не одной точной ключевой фразой, вокруг которой раньше строилось классическое SEO. Чем шире смысловое поле вокруг темы на странице, тем больше шансов попасть в разные ветки веерного расширения запроса.

Почему RAG-поиск не отменяет SEO

Здесь часто возникает заблуждение: если AI генерирует ответы сам, значит, классическое SEO больше не нужно. Это не так, и вот почему.

RAG не отменяет ранжирование – он его усложняет. Прежде чем модель что-то процитирует, retrieval-механизм должен сначала найти именно ваш контент среди миллионов страниц. Генерация текста происходит только после того, как поиск отработал и выдал кандидатов. Если ваш сайт даже не попал в эту выборку кандидатов, никакая гениальность модели в формулировке ответа вас не спасёт – она просто не увидит, что вы существуете.

Отсюда прямое следствие: если у сайта нет базовой сканируемости (crawlability – возможность для поисковых роботов и AI-систем физически прочитать страницу), нет внятной структуры, нет накопленного авторитета в теме – retriever вас просто не заметит, как бы качественно ни был написан сам текст.

Сигналы, которые классически считались SEO, в реальности питают и RAG-поиск напрямую. Индексируемость – страница должна быть доступна для сканирования и присутствовать в базе, по которой идёт поиск. Свежесть контента – регулярно обновляемые страницы получают преимущество, потому что система стремится выдавать актуальные факты. E-E-A-T (опыт, экспертность, авторитетность, надёжность – совокупность сигналов, показывающих, что источнику можно доверять) – это цитируемость вашего контента другими ресурсами, репутация домена, наличие реального экспертного контента, а не рерайта. Внутренняя перелинковка – она помогает системе понимать структуру сайта и связи между темами, что облегчает и сканирование, и смысловое сопоставление чанков.

Разница с классическим SEO в том, что раньше вы боролись за позицию в выдаче по конкретному запросу. Теперь вы боретесь за то, чтобы конкретный кусок текста на вашей странице выиграл смысловое сравнение с чанками с других сайтов – причём для целого веера под-запросов одновременно, а не для одной фразы.

Как оптимизировать контент под RAG: рабочий чеклист

Теория понятна, но что делать руками. Вот конкретные шаги, которые я применяю при аудите и доработке сайтов под AI-видимость.

Чёткая иерархия заголовков H1–H3 с одной идеей на блок. Каждый подраздел должен раскрывать одну конкретную мысль, а не смешивать три темы в одном куске текста. Это напрямую влияет на качество чанкинга – чем чётче граница смысла, тем выше шанс, что нарезка на фрагменты пройдёт без потери контекста.

FAQ-блоки в формате «вопрос – ответ». Такая форма текста структурно совпадает с тем, как формулирует запрос пользователь, и с тем, как система ищет ответ. Это один из самых недооценённых, но рабочих приёмов – по опыту, страницы с явными FAQ-блоками заметно чаще попадают в цитируемые фрагменты AI-ответов.

Разметка schema.org и JSON-LD для фактических данных. Цена, часы работы, адрес, отзывы, характеристики – всё, что можно оформить структурированными данными, стоит оформить. Это снижает неоднозначность для системы: факт не нужно «вычитывать» из плавного текста, он лежит в явном, машиночитаемом виде.

Самодостаточные абзацы. Каждый абзац должен быть понятен сам по себе, без соседних абзацев рядом. Причина простая: в чанк может попасть именно этот абзац и больше ничего. Если смысл абзаца зависит от того, что было написано тремя параграфами выше («как мы уже сказали…»), вырванный из контекста фрагмент превращается в бессмысленный кусок текста для системы поиска.

Покрытие темы синонимами и вариациями формулировок. Из-за query fan-out нужно закрывать тему с разных сторон – разными словами, разными формулировками одного и того же вопроса, смежными терминами. Одна точная ключевая фраза, повторённая десять раз, работает хуже, чем естественный текст с широким смысловым полем.

Регулярное обновление контента. Свежесть – это прямой сигнал для retrieval-механизма. Страница, обновлённая недавно, конкурирует лучше, чем страница, которую не трогали три года, даже если факты на ней формально не устарели.

Доступность ключевого контента без зависимости от JS-рендеринга. Если важный текст рендерится только на стороне клиента через JavaScript без серверного рендеринга (SSR) или пререндера, есть риск, что сканер AI-системы его просто не увидит – он получит пустой или частично загруженный HTML. Проверьте это через просмотр исходного кода страницы без выполнения скриптов – если ключевого текста там нет, у вас проблема с базовой видимостью, которую нужно решать раньше любых других оптимизаций.

По моей практике, сайты, которые внедряют хотя бы первые четыре пункта из этого списка, начинают заметно чаще появляться в цитируемых источниках AI-ответов в течение 4–8 недель после изменений – срок зависит от того, как часто система пересканирует конкретный домен.

Что в итоге стоит запомнить

RAG-поиск – это не абстрактная технология где-то «внутри» AI, это конкретный многошаговый процесс, который решает, увидит ли модель ваш сайт вообще. Сначала система решает, нужен ли поиск в принципе. Если нужен – ваш контент режется на чанки и соревнуется по смысловой близости с чанками конкурентов, а не по совпадению ключевых слов. Победивший фрагмент попадает во временную рабочую память модели ровно на один ответ и исчезает. И весь этот цикл запускается заново для каждого нового похожего запроса – без исключений.

Разница между training data и retrieval определяет, куда вкладывать усилия: попасть в общие знания модели – долгая игра без прямого контроля, попасть в RAG-цикл – то, на что можно влиять структурой и свежестью контента прямо сейчас.

Query fan-out меняет саму логику написания текста – вместо одной точной фразы нужно закрывать тему с разных сторон, синонимами и вариациями, потому что реальный запрос пользователя редко ищется системой в одном-единственном варианте.

И главное – SEO при этом не умирает, он трансформируется. Retrieval должен сначала найти вас среди конкурентов, прежде чем генерация вообще получит шанс вас процитировать. Без базовой сканируемости, чёткой структуры и накопленного авторитета никакая гениальность AI-модели не поможет – она просто не узнает, что вы существуете.

Первый шаг, который я рекомендую сделать сегодня: откройте три-четыре своих ключевых страницы и проверьте, разбит ли текст на самодостаточные смысловые блоки с чёткими заголовками, и есть ли на сайте FAQ-раздел с прямыми формулировками вопросов ваших клиентов. Это две самые быстрые правки, которые напрямую влияют на то, как работает RAG-поиск применительно именно к вашему контенту – и как быстро AI начнёт видеть ваш сайт.