Как я создавал свой первый дашборд на Visiology 3 и почему второй буду делать немного позже

Привет, Хабр! Меня зовут Салават Сафиуллин, и сегодня я хочу поделиться с вами своим первым опытом создания дашборда на Visiology 3. Это новая версия платформы, которой мы пользуемся уже несколько лет, но она кардинально отличается как архитектурой, так и принципами работы. Дашборды на версии нужно создавать заново и по-другому. Поэтому мне было особенно интересно сделать пробу и подготовить дашборд на базе демонстрационной Visiology 3.0. Под катом — подробный рассказ о моем «пилоте» и некоторые мысли о работе с новой версией Visiology.

Изначально я не писал текст для блога Visiology, но когда опубликовал его “от себя”, мне написал модератор и сказал, что так делать нельзя. Вообще странно, ведь я делюсь опытом. Но, к счастью, бдительные коллеги из Visiology заметили пост до того, как его заблокировали и пригласили в свой корпоративный блог. 🙂 В связи с этим, рассказывать о платформе, наверное, смысла нет. Но если все же среди читателей есть те, кто не вникал глубоко, что такое Visiology, свое мнение о платформе уберу под спойлер. 

Спойлер: Visiology как альтернатива западным BI-платформам

Итак, Visiology — чисто российская BI-платформа, которую ребята начали разрабатывать несколько лет назад. Я работаю в сфере ритейла и логистики, и вопрос полномасштабного внедрения BI-платформы с переходом к “умному управлению” (сейчас его еще часто называют “управление на основе данных”) стал актуален еще несколько лет назад. Много раз проходили жаркие дебаты, какую платформу выбрать, на чем развивать внутренний BI. И я не могу сказать, что Visiology была нашим фаворитом изначально. Например, когда мы первый раз обсуждали вопрос внедрения BI в 2017 году (но так и не приступили к его решению), мы склонялись к работе в Power BI или Qlik, потому что все российские решения показались реально незрелыми. 

Но один из руководителей запретил запускать такой масштабный проект на базе зарубежной платформы “из-за возможных рисков после 2014 года”. Тогда это казалось странным, но сейчас я понимаю, что умный человек реально как в воду глядел. Второй раз мы подошли к вопросу в 2020 году во время пандемии и в этот раз выбор пал именно на Visiology, потому что платформа обросла кейсами, примерами внедрения, да и функционал разработчики здорово подтянули. Одним из ключевых аргументов “за” Visiology стала возможность внедрения дашбордов во внешние (для платформы) порталы и сайты.

Внедрение проходило достаточно стандартно и предсказуемо. Остановлюсь на интересных моментах, которые, мне кажется, стоит учитывать, когда вы готовитесь к внедрению BI с нуля и останавливаете выбор на Visiology.

Плюсы:

  • ViQube (движок платформы) порадовал встроенным хранилищем данных (DWH)

  • Есть достаточно удобные виджеты для создания визуализаций в том виде и формате, которого просят пользователи

  • Имеется функционал регулярной рассылки для руководителей, у которых нет ни времени, ни желания, заходить в BI или на какой-либо еще портал.

  • Можно подключить любой ETL-инструмент, в том числе есть бесплатная утилита ViXtract на бзае Jupyter Hub

Минусы:

  • От аналитиков требуется знание JS или элементарные навыки программирования, если они хотят сами формировать новые запросы

  • Для сложных задач требуется подключение разработчиков (слава богу они у нас были)

  • Можно подключить ETL — значит встроенного ETL в системе нет. Для кого-то это может стать проблемой.

  • Ролевая модель доступа и управление системой были не слишком проработаны для версии 2.20, которую мы тогда внедряли

Подробнее почитать о том, что представляет собой платформа, как она разрабатывалась и какие фишки есть у Visiology можно в блоге компании — они достаточно активно рассказывают о себе на Хабре. 

Visiology 3.0 — добро или зло?

Новости о том, что скоро появится Visiology 3.0, и что архитектура системы будет отличаться, и что нам придется рано или поздно мигрировать на третью версию не все восприняли с оптимизмом. 

Сначала казалось, что нам придется запускать очередной проект, ведь при переходе на версию 3.Х потребуется делать все заново. Однако по мере приближения релиза оказалось, что не все так уж страшно:

  1. Для третьей версии Visiology не требуется никаких новых лицензий

  2. Оба движка могут работать рядом, хоть на одном сервере, так что к миграции можно подготовиться

  3. Поддержка 2 сохраняется как минимум до начала 2025 года, так что нас никто и никуда не торопит.

  4. Visiology 3 работает на базе ClickHouse, так что она должна стать быстрее и бигдатее, чем предыдущая (хотя это пока в теории — чтобы проверить нужно хорошо нагрузить движок и посчитать цифры).

Как только версия 3.0 стала доступна, я решил пощупать ее вживую. По первому же запросу мне прислали дистрибутив, и я развернул его на той же самой ВМ, на которой работает у нас Visiology 2.29. На этом этапе у Visiology 3.0 нет своего портала для дашбордов, так что выгрузка происходит на портал второй версии, и я решил создать достаточно стандартный дашборд по продажам, чтобы сравнить и процесс и результат с тем, что мы имеем сейчас в 2.29.

Как это делается в 2.29

Чтобы добавить источники данных во второй версии Visiology, необходимо подключить их через панель администрирования.

Вот так выглядит работа с данными в 2.29
Вот так выглядит работа с данными в 2.29

Настройка данных происходит в табличном режиме. Чтобы выстроить соответствия, необходимо выбрать ключевые поля в нужных столбцах. Честно признаться, не очень удобно.

Вот так происходит настройка данных в 2.29
Вот так происходит настройка данных в 2.29

Когда мы заходим в панель администрирования Visiology 3.0, сразу видны разительные отличия. Первое и очевидное — новая схема работы с моделью данных. Я уже показал ее нашим аналитикам, и теперь они ждут, когда смогут сами перетаскивать панельки и протягивать стрелочки. 

Вот так выстраивается модель данных в версии 3.0
Вот так выстраивается модель данных в версии 3.0

Для того, чтобы добавить новый источник данных (пока это можно сделать только через JDBC), достаточно нажать правую кнопку и выбрать источник. После этого он появляется в модели данных как отдельное окошко.

Добавление источника данных в Visiology 3
Добавление источника данных в Visiology 3

Когда источник оказывается в модели данных, достаточно выбрать ключевой параметр и протянуть стрелочку — вуаля, вы только что расширили свою аналитическую модель.

Дашборд из версии 3.0
Дашборд из версии 3.0

Вот такой дашборд получился у меня после того, как я собрал модель данных. Никакой особой настройки и кастомизации я не проводил, но зато в итоге на весь процесс ушло минут 10, наверное.

Портал Visiology 2.29
Портал Visiology 2.29

На портале версии 2 дашборд из 3 версии виден в качестве окошка с открытым интерфейсом авторизации. Наверное, это потому что портал “не родной”. А может быть я пока не разобрался как сделать так, чтобы дашборд был виден полностью.

Дашборд на портале
Дашборд на портале

Если зайти в дашборд, то он раскрывается полностью, прямо на портале. 

Выводы

Задачу протестировать новый интерфейс работы с моделью данных, а также конструктор дашбордов я выполнил. Все прошло удачно, а новая схема уже заинтересовала потенциальных пользователей, и это хороший знак. 🙂 Судя по всему, опасения о том, что придется долго и мучительно переносить экспертизу со 2 версии на 3 оказались напрасными, потому что аналитики сами с удовольствием пересоберут графические модели данных, чтобы получить больше гибкости и возможностей.

Тем не менее, первый опыт работы с 3.0 показал, что использовать платформу на полную еще катастрофически рано. В третьей визиолоджи нет кучи вещей, которых не хватает на фоне работающей 2 версии. По факту на платформе пока нельзя даже соединить две таблицы фактов  (а ведь это must have практически в любом проекте). Так что сегодня у меня фактически есть просто демка, которая позволяет поиграться с графической моделью данных. Тут еще крутым плюсом должен стать DAX, но у нас в штате пока нет ex-Power BI спецов, так что тестирование этого функционала мы отложили на попозже. Потенциальное повышение производительности еще предстоит оценить, но это, наверное, я буду делать уже когда получу доступ к Visiology 3.2, которую (надеюсь) можно будет считать полноценной платформой. 

В любом случае 3.0 (и думаю, что 3.1) будут скорее демонстрационными версиями. Так что с одной стороны я рад, что у нас уже есть работающая BI-система, и мы не сидим, не гадаем, ждать очередных версий Visiology 3 или внедрять пока 2.29, а с другой стороны — конструирование первой модели данных и дашборда уже помогли мне заинтересовать аналитиков новыми возможностями Visiology 3, и это точно будет полезно, когда мы подойдем к процессу миграции.

Кстати, если среди читателей попадутся пользователи Visiology, расскажите, а вы уже пробовали новую версию платформы? Что думаете по этому поводу?


ссылка на оригинал статьи https://habr.com/ru/company/visiology/blog/714032/

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *