Как мы в Почтатех заместили Qlik Sense на Luxms BI

Меня зовут Евгений Дрензелев, я Техлид BI компании Почтатех, которая занимается предоставлением IT-решений для Почты России. И эта статья — опыт нашей команды по импортозамещению «западного» продукта Qlik Sense на российский Luxms BI.

Как все начиналось

 В 2021 году прилетела команда сверху по импортозамещению западных продуктов, и мы составили список продуктов, которые нужно импортозаместить.  Все иностранные, даже замечательные китайские системы, — не вариант для импортозамещения.  Всё, что находится в облаке на чьих-то серверах, — тоже отсеивается.  Соответственно, осталось небольшое количество систем, которые могут работать на внутреннем закрытом контуре без внешнего интернета. Мы провели несколько пилотов и на их основании выбрали Luxms BI.

Далее расскажу о трудностях, с которыми мы столкнулись в процессе импортозамещения, а также о тех выгодах и положительных изменениях, которые мы получили в результате.

Сложности импортозамещения

 Первая проблема — документация. На наш взгляд, она достаточно слабая.  Я не могу отдать эту справку нашим аналитикам, разработчикам и сказать, что там всё есть — работайте. Читаешь справку и понимаешь, что половина функций не описана, где-то нужно искать информацию дополнительно, очень мало обучающих роликов. 

Если сравнивать с Qlik Sense (потому что с него мы перешли), то там большое комьюнити, много обучающего видео, где всё показано, а также очень подробная справка с примерами на русском языке.

Слабая документация приводит к тому, что у человека, пришедшего с другой системы, повышается порог входа. 

Но есть и плюс: существует  комьюнити, в котором подскажут, как сделать лучше.

Но честно говоря, мы начали внедрять первые дэшборды летом 2023 года — с тех пор документация значительно улучшилась.  Но всё равно есть куда стремиться.

Вторая боль — это отсутствие горячего слоя. У Qlik Sense есть свой QVD, в который всё заливается, и с ним всё работает достаточно быстро, так как есть кэширование данных. Первые дэшборды мы делали без горячего слоя, работая напрямую с данными. Если большие витрины или сложные запросы, всё становится очень медленным. Поэтому, если планируете внедрение Luxms BI, нужно сразу продумать инфраструктуру, заложив в неё использование горячего слоя для Luxms BI. В качестве рекомендации вендора для горячего слоя мы используем ClickHouse.

Ещё одна проблема — переучивание пользователей. В Qlik Sense есть замечательный плюс: куда ни ткни — отрабатывает как фильтр. В Luxms BI этот функционал тоже есть, но он не работает «из коробки», его нужно дополнительно настраивать. Фильтрация в Luxms происходит через управляющий дэш. Требуется переучивание пользователей, разработчикам менять подход при проектировании атласов под эти особенности. 

Все эти 3 проблемы имеют влияние на огромную команду бизнес-аналитиков, которые напрямую работают с бизнесом. Раньше много разработок делалось самостоятельно. Использовали самые разнообразные источники данных, в т.ч. XLS. Qlik Sense забирал данные из всех источников, складировал всё в QVD, с которым дальше и работал. В Luxms BI такого нет, и сейчас, когда бизнесу нужно импортозаместить какие-то свои приложения с Qlik Sense, нам приходится продумывать, как и куда уложить данные, чтобы с ними работать. Требуется использовать внешние системы или использовать Luxms Data Boring, а также решать вопросы: где и как эти данные нужно извлечь, преобразовать, положить в горячий слой и работать с ними.

Вывод: порог входа для новых пользователей значительно выше, чем был на Qlik Sense.

На этом боли заканчиваются, перейдем к плюшкам. 

Преимущества Luxms BI перед Qlik Sense

 Первый плюс — настройки дэшбордов через JSON-Config. 

В Qlik Sense все дэшборды настраиваются через редактор. А в Luxms BI, в том числе, и через JSON-Config. Сначала я настраивал через редактор, а на JSON-Config смотрел с неприятием: там же надо ручками писать. Но сейчас почти всю основную работу с дэшбордами веду через JSON-Config. Это удобно, масштабируемо. Если нужно что-то распространить на десяток дэшей, я делаю это через Ctrl+C / Ctrl+V.  Занимает секунды.

Бизнес-пользователь видит JSON, как просто буковки-циферки, а я в JSON-Config вижу вот эту прекрасную девушку.

Следующее неожиданное открытие и второй плюс — данные строятся на основании кубов, а куб — это SQL-запрос. 

В Qlik Sense всё построено на in-memory анализе. В Luxms BI куб — это именно SQL-запрос. Если научиться правильно пользоваться параметрами, он даёт необыкновенную гибкость и скорость работы, позволяет реализовать то, что в Qlik Sense хоть и  возможно было реализовать, но с большими трудо-/ресурсозатратами.

В качестве примера — график средненедельного показателя в разрезе кварталов, месяцев и недель. 

Его особенность в том, что если средненедельный показатель в разрезе кварталов и месяцев сделать легко (кварталы и месяцы не пересекаются), то недели и месяцы пересекаются. Одна неделя может быть частично в августе, частично — в сентябре.  Тут нужно перемешивание данных.

Для этого был написан достаточно простой SQL-запрос в ClickHouse, а Luxms BI отобразил его результаты.  Можно выбрать, допустим, февраль 2024 года, и он перестроится по каждому кварталу 2023 года (январь и недели февраля). Это оказалось очень быстро, интересно и удобно.  То, что кубы построены на SQL-запросах, — огромный плюс.

Третий огромный плюс уже от бизнес-пользователей — обалденный функционал сводных таблиц.

Они могут сами настроить структуру (включить/выключить измерения и факты), переместить строки в столбцы и наоборот, выгрузить в Excel в виде плоской таблице для дальнейшего более пристального анализа. Также структуру, настроенной под себя таблицы, можно сохранить как лист презентации, и пользователям уже нет необходимости каждый раз настраивать сводную таблицу для решения повторяющихся задач на новых данных.

У многих пользователей нет возможности прямого доступа к базе данных, а также они могут не владеть SQL, и использование сводных таблиц для них — это универсальное решение получения агрегированных выборок в нужной структуре.

Это настолько стало популярно, что во многих атласах есть дэшборд со сводной таблицей, построенной на детальных данных.

Этого функционала очень сильно не хватало в Qlik Sense (я про ту версию, которая у нас была последней, возможно в новых версиях функционал изменился). Пользователи обычно выгружали детальные данные и потом сами обрабатывали их в Excel.

Выводы

В качестве вывода могу сказать, что Luxms BI — продукт молодой, но стремительно развивающийся:

· Обновление на новую версию даёт много новых фишек, исправление старых и добавление новых багов, а команда разработчика быстро всё исправляет.

· Мы сделали более 100 предложений по развитию продукта и многие предложения уже реализованы.

Процесс импортозамещения в сегменте BI завершился в декабре 2024 года. И если сравнить текущую версию и ту, которая была летом 2023 года, то это небо и земля. Продукт стал заметно удобнее, стабильнее. Вендор нас слышит и улучшает платформу — постоянно выходят новые версии. Сейчас всё делается быстрее, легче и интереснее.