Семантический слой: архитектура, подходы и роль в эпоху AI-аналитики

Привет, Хабр!
В последние годы все чаще в разговорах про современные дата-платформы звучит термин «семантический слой». Сама идея семантического слоя не нова: в разные годы под семантикой понимали и витрины данных, и презентационный слой хранилища, и пространства метрик внутри BI-платформ. Но развитие современных дата-платформ и появление AI-агентов заставляют заново переосмыслить этот концепт.

Несмотря на очевидный интерес к теме семантического слоя, чёткого понимания, что именно он из себя представляет, как устроен изнутри и зачем вообще нужен, пока нет. В этой статье мы разберемся, что такое семантический слой, какие задачи он решает, какие архитектурные подходы существуют и почему именно семантический слой может стать ключевым драйвером AI-аналитики.

Семантический слой представляет собой промежуточный логический слой между областью физического хранения данных и каналами потребления данных: аналитическими приложениями, BI-системами, AI-агентами и бизнес-пользователями. В разных источниках его также называют Metrics Layer или Headless BI.

Говоря более строгим языком, семантический слой — это единый исполняемый контракт метрик, измерений,  связей между сущностями и правил доступа для всех каналов потребления данных.

Одинаковый результат обеспечивается не тем, что описание показателя где-то задокументировано, а тем, что логика его расчета централизована и исполняется самим семантическим слоем. В семантической модели задаются бизнес-термины, метрики, измерения, связи между сущностями, правила фильтрации, агрегации и доступа. Когда BI, Excel или AI-агент обращаются к семантическому слою, расчет собирается на основе метаданных модели внутри самого семантического слоя.

В этом состоит ключевое отличие семантического слоя от инструментов Data Governance — например, бизнес-глоссария или каталога данных. Глоссарий и каталог помогают описать, что означает показатель, где он хранится и кто за него отвечает. Семантический слой идет дальше: он не только хранит описание бизнес-логики, но и формирует запрос к источнику данных с помощью собственного движка генерации запросов на основе семантической модели. Такой подход и обеспечивает единый расчет метрик во всех каналах потребления данных.

Можно сравнить семантический слой с меню в ресторане. Пользователь делает заказ по списку позиций из «меню» и не заботится об ингредиентах и рецепте (таблицах в СУБД, алгоритмах расчета, связях и агрегациях). А семантический слой гарантирует, что одно и то же блюдо будет приготовлено одинаково для любого гостя, будь то BI-платформа, Excel или AI-агент — и строго по утверждённому рецепту.

Как работает семантический слой?

Процесс взаимодействия с семантическим слоем выглядит следующим образом:

1. Пользователь запрашивает набор бизнес‑сущностей и метрик с помощью естественного языка через AI‑ассистента или через выбор атрибутов из списка в интерфейсе аналитической системы.

2. Аналитическая система формирует Query Object, то есть обращение к объектам семантической модели, запрашивая измерения (срез), метрики и значения для фильтров.

3. Семантический слой на основе описанной модели выявляет какие таблицы и объекты содержат запрошенные данные и формирует исполняемый SQL-запрос к источнику данных.

4. Запрос исполняется на стороне источника и возвращает результат в исходную систему, через которую и были запрошены данные.

Таким образом, пользователь получает детерминированный результат на основе утвержденных правил, не жертвуя скоростью или удобством аналитики.

Для BI-платформ без встроенной семантической модели (например Superset) внешний семантический слой фактически становится аналитическим бэкендом. С точки зрения BI-инструмента он может выглядеть как обычная таблица или датасет, к которому платформа генерирует простые SQL-запросы. Но внутри за этим интерфейсом находится полноценная семантическая модель, которая берет на себя интерпретацию этого запроса, преобразование его к модели данных источника и возврат результата по утвержденной бизнес-логике.

Единой технологии реализации семантического слоя пока не существует. При этом рынок уже движется в сторону стандартизации описания семантических моделей. Один из наиболее заметных примеров — это инициатива Open Semantic Interchange (OSI), целью которой является создание единого открытого вендоро-независимого стандарта обмена семантическими моделями между BI-платформами, AI-инструментами и аналитическими системами.

Однако стандарт описания модели — это не то же самое, что единая архитектура реализации. OSI отвечает на вопрос как формализовать описание метаданных семантической модели (метрик, измерений и связей) так, чтобы любая семантическая платформа могла с ними одинаково работать, но не определяет, где и как должен быть реализован сам семантический слой. Поэтому на практике рынок движется сразу по нескольким архитектурным траекториям.

Единой устоявшейся классификации этих траекторий пока нет. Поэтому мы в Axenix проанализировали существующие на рынке решения, выделили их общие архитектурные паттерны и сформулировали собственную классификацию подходов к построению семантического слоя.

На верхнем уровне мы разделяем подходы на два класса: встроенный семантический слой и универсальный семантический слой.

В первом случае семантика реализуется внутри уже используемого инструмента — BI-платформы или хранилища данных. Во втором — выносится в отдельный слой или платформу, независимую от конкретных источников и потребителей данных. Всего мы выделяем четыре подхода:

Встроенный семантический слой.

1.       BI-Native. Семантический слой внутри BI-платформы.

Принцип работы:

Модель данных в BI выступает в качестве семантического слоя, в котором описаны логические связи между сущностями и формулы для расчета метрик.

Примеры решений: Power BI, SAP BO, Looker

2.       DWH-Native. Семантический слой на стороне хранилища данных.

Принцип работы:

Семантический слой реализован на стороне БД. Вводится новый тип объектов БД: Semantic view, в котором описывается модель данных. При запросе атрибутов из Semantic View, формируется SQL-запрос к физическим таблицам.

Примеры решений: Snowflake, Databricks

 Универсальный семантический слой

3.       Metric Store. Слой управления метриками, формирующий запросы к источникам.

Принцип работы:

При получении запроса от аналитической системы Metric Store формирует SQL-запрос на основе метаданных модели, а затем отправляет его напрямую в СУБД.

Семантический слой работает с источниками изолированно, расчеты выполняются на источнике.

Примеры решений: DBT Semantic Layer

 4.       Semantic Platform — универсальная платформа семантического слоя с собственным движком запросов, виртуализацией данных и оптимизацией нагрузки на СУБД.

Принцип работы:

Платформа кэширует предагрегаты и при получении запроса от аналитической системы маршрутизирует запросы между источниками, кэшем и предагрегациями для минимизации нагрузки на СУБД. Может объединять агрегаты из разных источников.

Примеры решений: AtScale, Cube Cloud

Каждый из описанных подходов решает задачу семантического слоя по-своему: где-то семантика остается внутри BI-платформы, где-то переходит на сторону хранилища данных, а где-то выносится в промежуточный слой. Выбор подхода зависит от наличия и зрелости решений семантического слоя, текущей дата-платформы, количества аналитических инструментов и требований к масштабированию.

Но с появлением AI-аналитики требования к семантическому слою становятся значительно выше. Возникает принципиальный выбор: позволить LLM самостоятельно интерпретировать вопрос пользователя и генерировать SQL напрямую или же использовать LLM только как интерфейс распознавания запроса пользователя, передавая задачу формирования логики расчетов на сторону семантического слоя.

LLM хорошо понимает естественный язык, но не должна сама изобретать бизнес-логику расчета метрик. Даже если сложить метаданные модели в RAG (контекст) агента, это поможет агенту найти описание связей и алгоритмов расчета, но не гарантирует, что расчет будет выполнен по этой методологии. Причина в том, что RAG дает агенту справочный контекст и рекомендации по исполнению, но он не является механизмом принудительного исполнения логики. Семантический слой же выступает как исполняемый контракт, где запрос является результатом детерминированной алгоритмической генерации.

Поэтому мы в Axenix считаем наиболее перспективным подход, в котором LLM отвечает за распознавание намерения пользователя, а семантический слой — за алгоритмическое исполнение расчетной логики. Это обеспечивает стабильность ответа независимо от «продвинутости» используемой LLM вне зависимости от количества итераций запроса.

 Заключение.

Концепция семантического слоя не нова. Идеи Headless BI и централизованного слоя метрик обсуждаются уже несколько лет. Но с приходом AI-аналитики в корпоративную практику она приобретает новую актуальность. Для AI-аналитики наличие семантического слоя становится важным пререквизитом масштабирования AI-агентов.

Бизнес-глоссарий, каталог данных и RAG-контекст помогают описать модель данных и бизнес-терминологию, но не обеспечивают применение этой методологии в реальных расчетах. Эту задачу решает семантический слой: он превращает описание метрик, связей, агрегаций и правил доступа в воспроизводимый расчет во всех каналах потребления данных.

Сегодня рынок семантических слоев находится в стадии формирования. Зрелых универсальных решений на рынке пока крайне мало. Встроенные подходы, BI-Native и DWH-Native, реализованы в существующих инструментах, и многие компании уже используют их неосознанно. Полноценные семантические платформы только начинают появляться на зарубежном рынке, но до зрелости ещё далеко.

При этом потребность в такой инфраструктуре будет только расти. Компании, которые сегодня начнут выстраивать семантический контракт метрик, завтра получат готовую основу для масштабирования AI-аналитики, без необходимости переделывать всё с нуля.

Мы будем следить за тем, как развивается этот рынок. Если тема интересна — пишите в комментариях, какие аспекты хотели бы разобрать подробнее.

Анастасия Остапенко
Руководитель Центра компетенций BI, Axenix