Единый семантический слой BI и что он дает на примере платформы Microstrategy

Ежедневно я общаюсь с большим количеством крупных компаний. Нередко они выражают желание построить data-driven компанию в течение следующих нескольких лет. Их ключевая стратегия заключается в создании DWH/Big data и подключении к ней пользователей, которые сами будут строить отчеты, визуализации и дашборды, используя self-service инструменты — Tableau, Power BI или Qlik.

Одна из основных проблем Tableau, Power BI или Qlik — у них нет единого семантического слоя, единой логической модели, единого определения всех атрибутов, фактов и показателей для всей бизнес-аналитики компании. Именно поэтому они растут в компании без контроля и governance, порождая множество версий правды в отчетности и аналитике в компании. Через какое-то время компании сталкиваются с тем, что уже не могут разобраться какому отчету доверять — данные не сходятся не только в разных системах Tableau, Power BI или Qlik, но и между отчетами в одной системе. Получается, что компании вкладывают огромные средства в построение единой версии правды на уровне хранилищ данных, а в конечном счете получают невероятное количество отдельных и ungoverned отчетов, визуализаций, дашбордов, которым они не могут доверять.

Tableau, Power BI и Qlik — отличные инструменты, если вы хотите, чтобы бизнес-пользователь мог выполнять локальную аналитику self-services для нужд своего отдела. Тем не менее, чтобы построить data-driven компанию на уровне всего предприятия, вам потребуется инструмент, который позволит упорядочить, структурировать и стандартизовать всю вашу бизнес-аналитику. 

Поскольку я больше 15-ти лет в области DWH и BI на платформе Microstrategy, попробовал немного систематизировать и структурировать информацию о Microstrategy Enterprise Semantic Graph.

Итак, Microstrategy Enterprise Semantic Graph или семантические слой — единый слой атрибутов, фактов, показателей и объектов аналитики, описывающий связь бизнес-терминов с вашими источниками данных (КХД, АХД, Big data и прочие). Пользователь погружается в среду единой терминологии, единой бизнес-логики формирования всех показателей в отчетах и дашбордах, не задумываясь из каких БД берутся данные.

Единый слой бизнес-абстракции позволяет:

• предоставлять данные на понятном бизнесу языке для создания бизнес-аналитики;

• обеспечить сходимость данных между всеми отчетами компании в разных департаментах и гарантировать, что любой показатель во всех отчетах компании рассчитывается всегда одинаково (data governance, единая версия правды);

• сократить трудоемкость создания новых отчетов и дашбордов (стоимость владения бизнес-аналитикой, TCO) за счет многократного переиспользования объектов метаслоя, уменьшить трудоемкость поддержки всех существующих отчетов в случае изменения бизнес-логики показателей — изменение алгоритма формирования показателя на уровне единого слоя метаданных автоматически отразится во всех существующих отчетах;

• реализовать единую политику безопасности доступа к данным, управляемую в одном месте;

• понимать в любой момент кто, когда, как часто и какими данными пользуется, например, с целью помещения наиболее востребованных данных в in-memory для достижения лучшей производительности или рекомендовать пользователям наиболее популярный контент на основе собранной статистике активности пользователе;

• предоставлять доступ к единому метаслою через Power BI, Qlik, Tableau, SDK & API, R, Python или приложения собственной разработки;

Пользователи, аналитики, BI разработчики и дата-саентисты могут использовать единый метаслой Microstrategy для следующий задач:

1. Объединение In-memory кубов, КХД, АХД и Big Data источников в единой модели семантического слоя

   С помощью Microstrategy Enterprise Semantic Graph вы можете объединять несколько источников данных в единой логической модели. Пользователю не надо задумываться над тем откуда он берет данные при построении отчета — из In-memory кубов, КХД, АХД и других источников.

2. Построение ad-hoc отчетов, pixel-perfect дашбордов, self-service & data discovery в Microstrategy

   На основе единого метаслоя пользователь может самостоятельно сделать отчет любой сложности — ad hoc, dashboards, self-service & data discovery, documents, data mining & predictive, freeform и т.д. MicroStrategy позволяет реализовать в отчетах дизайн любой сложности и располагать элементы ровно там, где это необходимо.

3. Добавление, обработка данных из внешних источников и объединения их с единым семантическим слоем

   Пользователи могут добавлять и обрабатывать данные из внешних источников, объединять их с единой логической моделью, расширяя горизонты доступных корпоративных данных для аналитики. Microstrategy предоставляем более 200 коннекторов для различных типов источников.

4. Визуализация данных на основе единого метаслоя, используя Tableau, Power BI или Qlik

   Для обращения из Tableau/Qlik/Power BI к единому метаслою вы можете использовать Microstrategy Connector for Tableau/Qlik/Power BI. Кроме того, мы можете делать выгрузку данных из метаслоя напрямую в базу или в текстовый файл.

5. Создание code free нативных мобильных BI приложений, используя Microstrategy Mobile

   MicroStrategy позволяет создавать code free нативные, функциональные и интуитивные аналитические мобильные приложения, в которых также можно реализовывать workflow с помощью функциональности write-back и помещать произвольный контент (видео, картинки, документы, email и web-контент).

6. Аналитическая обработка данных с помощью встроенных аналитических функций, R или Python

   Есть встроенная богатая библиотека аналитических функций (математические, статистические, OLAP и финансовые функции) с возможностью расширения. MicroStrategy также предлагает пакеты с открытым исходным кодом R и Python, которые позволяют аналитикам использовать алгоритмы машинного обучения, позволяя быстро создавать аналитические приложения на основе единого слоя метаданных.

7. Контроль показателей и рассылка уведомлений

   Часто пользователи рассылают свои отчеты по почте всем заинтересованным. MicroStrategy может это делать самостоятельно. Любой отчет можно разослать по почте в разных форматах: XLS, PDF или просто вставить отчет в текст письма. Частота рассылки может настраиваться по времени, по событию, по условию показателей. Также механизм рассылки можно использовать для выгрузки данных на FTP, базу данных, API, отправки push-уведомления на мобильные устройства.

8. Hyper Intelligence – контекстная «zero-click» аналитика

   Microstrategy предоставляет функциональность Hyper Intelligence – контекстная аналитика на любом веб-сайте, устройстве или в приложении. Позволяет получать ответы в режиме реального времени, не прерывая рабочий процесс — кликов не требуется.

9. Создание write-back отчетов и приложений

   Функциональность write-back позволяет пользователям писать и обновлять данные в системах-источниках ERP, CRM и операционных базах данных напрямую из desktop, web и mobile приложений Microstrategy.

10. Встроенная отчетность и аналитика в ваши web приложения

    Embedding API позволяет довольно легко встраивать отчеты и дашборды MicroStrategy в ваши Web приложения.

11. Гео-аналитика

    Поддержка интеграции с картами, возможность наложения различных слоев (филиалы, регионы, дивизионы и прочее) на интерактивную карту Mapbox, Google Maps, ESRI и т.д.

12. Голосовые помощники и чат-боты

    Есть возможность интегрировать Microstrategy с голосовыми помощниками (Siri, Alexa, Alisa…) или чат-ботами для быстрого получения ответа на ваши вопросы.

13. Получение данных в приложениях Microsoft Office из единого семантического слоя

    Эта надстройка позволяет использовать Microsoft Office для подключения к данным из метаслоя MicroStrategy. Надстройка предоставляет возможность импортировать и обновлять отчеты и наборы данных из MicroStrategy Enterprise Semantic Graph в Microsoft Office.

14. Обсуждение отчетов и дашбордов в системе BI

    Пользователи имеют возможность общаться друг с другом посредством обсуждений или комментариев, которые могут быть сделаны в интерфейсе Microstrategy. Любой, у кого есть доступ к отчетам MicroStrategy, может добавлять комментарии, относящиеся к этому отчету. Пользователи могут задавать вопросы и обращать внимание на конкретные данные в самом отчете. Все комментарии сохраняются в ветке обсуждения, и пользователь, имеющий доступ к отчету, может видеть всю историю комментариев по нему.

15. Высокая производительность и масштабируемость

    Microstrategy поддерживает линейное масштабирование, кластеризацию, сочетание 2-х режимов при работе пользователей с отчетами/дашбордами — live connect и in-memory, поддержкивает многоуровневое кэширование, multi-pass SQL engine, возможность выставления приоритетов для разных задач, пользователей, групп пользователей и прочее. Платформа Microstrategy это однозначно лучший выбор для больших компаний с большими объемами данных, количеством пользователей и широким разнообразием требуемой фукнцианальности BI решения и каналов доставки данных до пользователей.

    Пару лет назад @abezugly написал статью об опыте М.Видео-Эльдорадо по внедрению визуализаций в Tableau над SAP HANA https://habr.com/ru/company/mvideo/blog/483656/. После того, как стало окончательно понятно, что у Tableau после объема данных в 10 Гб с перформансом начиняется существенная деградация, нас пригласили сделать пилот на BI платформе Microstrategy. На пилоте за пару недель мы показали, что дашборды в Microstrategy с объемом данных 1-2 млрд записей, могут отрабатывать за 1-2 секунды, что стало стартом большого проекта по созданию операционно-аналитической системы отчетности М.видео-Эльдорадо на платформе Microstrategy.

В следующем видео довольно детально раскрывается вопрос, что такое Microstrategy Semantic Graph и почему это имеет решающее значение для удовлетворения меняющихся корпоративных требований к гибкости, безопасности и data governance в проектах при внедрении бизнес-аналитики:

Надеюсь, обзор и материалы оказались вам полезны и позволили сформировать представление о том, что такое единым семантической слой и зачем вообще все это надо.