Можно ли запустить корпоративную BI+ETL-систему за 1,5 млн рублей? Бонус: «Денвик» – экстрактор данных из 1С

Меня зовут Андрей Рыжик, я разработчик BI в компании «Белый код». Это бонусная статья из серии, в которой мы изучаем российские BI-системы с поддержкой ETL для клиентов из малого и среднего бизнеса с бюджетом до 1,5 млн рублей. Сегодня разбираем не BI-систему, а инструмент, без которого многие BI-проекты в России буксуют, – экстрактор данных из 1С от компании «Денвик-Аналитика».

Почему экстрактор 1С попал в серию о BI

На протяжении всей серии обзоров одна проблема всплывала снова и снова: подключение к 1С. Проблема системная: подавляющее большинство российских компаний малого и среднего бизнеса работает на 1С, и именно 1С – основной источник данных для аналитики. При этом классический путь «попросить 1С-разработчика написать выгрузку» – это время, деньги и зависимость от конкретного человека. Когда меняется отчёт или добавляется новый показатель, цикл повторяется.

Именно поэтому мы решили включить в серию бонусный обзор инструмента, который решает эту задачу напрямую. «Денвик» – это не BI-система, а экстрактор данных (ну или коннектор)  из 1С, который позволяет без привлечения 1С-разработчика подключаться к базам и вытаскивать из них данные для загрузки в любую BI-систему. Продукт упоминался в нескольких наших предыдущих статьях.

_______________________________________________________

14 мая проведем вебинар с демонстрацией low-code коннектора к «1С:Шине» от «Денвик».

Для участников вебинара предоставим бесплатный тестовый доступ — берите, пробуйте, делитесь обратной связью!

Спикеры вебинара

Дата: 14 мая

Время: 12:00 МСК

Формат: онлайн

Зарегистрироваться на вебинар 14 мая

_______________________________________________________

О компании

«Денвик-Аналитика» – российский разработчик ETL-решений для среднего и крупного бизнеса. Компания основана в Сыктывкаре, сейчас офисы расположены в нескольких городах: Сыктывкар, Киров, Краснодар, Сочи, Симферополь, Севастополь, Донецк, Луганск.

По данным от вендора: 17 лет опыта в разработке ПО, более 150 сотрудников, свыше 400 выполненных ETL-проектов, более 50 BI-партнёров. Компания входит в реестр российского ПО (реестровая запись №25219 от 02.12.2024) и рекомендована к внедрению по результатам «BI-круга Громова».

Помимо разработки самого экстрактора, компания занимается внедрением BI-систем (Yandex DataLens, PIX BI, Visiology), проектами по DWH и оказывает услуги технического аккаунт-менеджмента (ТАМ) – это аутсорс-команда от вендора (архитектор данных, разработчик 1С, инженер данных, аналитик данных) для сопровождения проектов.

Встречу с нами проводил разработчик продукта Степан Пыстин.

Экосистема Denvic

Прежде чем углубляться в экстрактор, важно понять общую картину. «Денвик» – это не один продукт, а экосистема из нескольких компонентов, каждый из которых сейчас продаётся и лицензируется отдельно.

Экстрактор 1С – ключевой продукт. Расширение, которое встраивается непосредственно в базу 1С клиента. Извлекает данные из 1С и выгружает их в СУБД-приёмники (ClickHouse, PostgreSQL, MS SQL, MySQL) или в очереди сообщений (Kafka, ActiveMQ, 1С Шина).

DVT (Denvic Visual Transformer) – визуальный ETL-инструмент. Веб-сервис, разворачивается в Docker-контейнере. Позволяет строить пайплайны трансформации данных в графическом интерфейсе – подключаться к СУБД, API, файлам, преобразовывать данные и загружать результат обратно в хранилище. А также имеет готовые ноды к Битрикс24 (для облака и коробки) и Yandex Metrica Logs.

Инжектор – компонент для обратной загрузки данных из SQL-баз и Kafka в 1С. По сути, обратная операция относительно экстрактора.

Denvic Control Center (DCC) – центр управления. REST API, мониторинг, логирование, развёртывание, оркестрация. Через него можно запускать проекты экстрактора, коннектора и инжектора по расписанию или по триггеру из DVT.

Каждый компонент имеет собственный интерфейс. По словам Степана, компания движется к объединению всех интерфейсов под единый UI – это будет продукт Denvic Tools. При этом каждое приложение по-прежнему будет устанавливаться отдельно, но работа будет осуществляться из единого веб-интерфейса.

Экстрактор 1С: подробный разбор

Это главный продукт в экосистеме «Денвик» и основная тема встречи. Разберём, как он устроен.

Установка

Экстрактор устанавливается как расширение в базу 1С клиента – с помощью внешней обработки, аналогичной стандартному модулю обновления 1С. Инсталлятор сам определяет версию платформы и режим совместимости, скачивает нужную сборку из облака и устанавливает её. По заявлению вендора, весь процесс занимает порядка 3 минут.

Поддерживаются платформы 1С версий 8.2, 8.3 и 8.5 – то есть покрывается подавляющее большинство версий 1С у клиентов. Экстрактор работает с любыми конфигурациями 1С: «Бухгалтерия», «Управление торговлей», «ERP», «УПП» и любые кастомные конфигурации.

Важный момент: экстрактор живёт внутри базы 1С, это не внешнее приложение. Он появляется в интерфейсе 1С как отдельная подсистема, и пользователь работает с ним из привычной среды.

Для кого предназначен

На встрече разработчик чётко обозначил четыре целевые аудитории:

BI-аналитик / аналитик данных – основной пользователь. Тот, кто обычно зависит от 1С-программиста и ждёт, пока ему подготовят выгрузку. С экстрактором аналитик может самостоятельно извлекать нужные данные в режиме self-service / low-code.

Программист 1С – экстрактор снимает с него рутину по написанию выгрузок. Вместо того чтобы с утра до вечера писать запросы на выгрузку, разработчик может отдать эту работу аналитику или сделать её за минуты с помощью экстрактора и заниматься более интересными задачами.

ИТ-директор – оптимизация ресурсов. Вместо того чтобы держать нескольких разработчиков для поддержки выгрузок, можно посадить одного джуна или вообще отдать задачу менее квалифицированному специалисту (в контексте 1С).

Бизнес-руководитель – снижение стоимости владения интеграцией. Интеграция легко поддерживается после внедрения, стоимость самого внедрения ниже, масштабируемость выше.

Режимы работы

У экстрактора четыре режима работы – от простейшего до инструмента для разработчика.

Режим «Объект» – самый простой, для пользователей без навыков программирования. Экстрактор считывает метаданные базы 1С и показывает дерево всех объектов конфигурации: документы, справочники, регистры, табличные части, дополнительные реквизиты. Пользователь выбирает нужный объект (например, «Реализация товаров и услуг»), галочками отмечает нужные атрибуты – и готово. На демо разработчик продукта показал: выбрали объект, проставили галочки, запустили – данные ушли в хранилище. По его словам, пользователь, который работает в 1С и знает, с какими объектами он имеет дело (например, руководитель отдела продаж знает, что его данные живут в документах реализации), способен настроить выгрузку буквально в три клика.

Отдельная приятная деталь – навигация по ссылкам. Внутри 1С всё связано ссылками: документ ссылается на контрагента, контрагент – на менеджера и т. д. В экстракторе можно «пройтись по ссылочке» и достать атрибуты связанных сущностей, обогатив набор данных. А если нужна нормализованная структура – выгружаете справочники (контрагенты, менеджеры, склады) отдельными проектами, а факты (продажи) – отдельно, и строите модель данных уже в хранилище или в BI.

Режим «Запрос» – позволяет писать произвольные запросы на языке запросов 1С. По словам вендора, этот режим предназначен для случаев, когда в 1С есть сложные отчёты, которые за пределами 1С воспроизводить долго и дорого. Тогда проще забрать результат готового запроса. С точки зрения архитектуры данных это не лучшая практика (любой архитектор скажет, что готовить данные на этапе выгрузки – неправильно), но разработчик честно признал: бывает так, что это оптимальный путь, и режим успешно используется клиентами.

Режим «Обработчик» – программный источник для разработчика 1С. Позволяет выгружать вообще всё что угодно, включая результаты сложных отчётов с постобработкой (запрос + программная обработка на языке 1С: циклы, переменные, условия). Это инструмент для нестандартных случаев.

Excel / CSV – бонусная возможность для базовых сценариев СМБ – когда нужно быстро загрузить Excel в БД без разворачивания полноценного ETL. Режим простой: указываете путь к файлу (можно использовать маску для нескольких файлов), и данные уходят в базу. 

Механика работы: подписки, очереди, многопоточность

Под капотом экстрактора – три ключевых механизма, которые обеспечивают скорость и снижают нагрузку на 1С.

Подписки на события. Экстрактор отслеживает изменения объектов внутри 1С благодаря подпискам на события. Создали документ, изменили, удалили – экстрактор это видит и фиксирует.

Очередь изменений. Зафиксированные изменения накапливаются в очереди. Это позволяет работать инкрементально: не перевыгружать весь массив данных, а отправлять в хранилище только то, что изменилось.

Многопоточная выгрузка. Данные выгружаются в несколько потоков параллельно. Количество потоков не ограничивается экстрактором – ограничение может идти от лицензии 1С (корпоративная лицензия не имеет ограничений по числу фоновых заданий, профессиональная – до 12 потоков).

Вносим изменения в документ:

Проверяем, что документ, который мы изменили, попал в очередь выгрузки: 

Проверяем, что в БД выгрузились строки обновленного документа:

На демо нам показали полный цикл. Разработчик изменил один документ «Реализация товаров и услуг» в тестовой базе. Экстрактор мгновенно зафиксировал изменение, записал его в очередь. После запуска проекта – две строки обновлённого документа появились в хранилище. Без полной перевыгрузки, без нагрузки на базу.

Сегментация данных

Это одна из ключевых настроек, влияющих на производительность. Идея в том, чтобы не пытаться «проглотить слона» целиком, а разделить его на маленькие части и грузить параллельно.

Правила сегментации гибкие: можно нарезать данные по дням, часам, месяцам, кварталам, годам, а также по бизнес-измерениям – организация, менеджер, договор, ссылка на документ или справочник. Можно комбинировать: например, по дням и внутри дня – по менеджерам.

Важная деталь: для первоначальной выгрузки и для регулярного обновления можно задать разные размеры сегментов. Например, при инициализации грузим помесячно (крупные куски – меньше вставок в СУБД, что продуктивнее), а для регулярных обновлений – по каждому изменённому документу (мелкие куски, но их мало).

Режим по умолчанию

Расширенный режим

Дополнительные возможности экстрактора

Вычисляемые поля – можно обогатить набор данных произвольными вычислениями. Например, поставить метку времени выгрузки каждого батча и вывести её на дашборд, чтобы понимать, когда последний раз данные были обновлены и актуален ли дашборд.

Аудиторский след – можно фиксировать, кто, когда и что менял в 1С. Полезно для версионирования данных в хранилище.

Автомаппинг и автогенерация таблиц – экстрактор автоматически сопоставляет типы полей 1С с типами полей в целевой СУБД и создаёт таблицы в приёмнике. Не нужно вручную писать DDL.

Экспорт / импорт проектов – если вы настроили выгрузку для одного клиента, проект можно экспортировать как шаблон и импортировать к другому клиенту с идентичной или похожей конфигурацией 1С. Через центр управления (DCC) это делается в автоматизированном режиме, что удобно для тиражирования решений.

Работа по расписанию – минимальный шаг расписания – 1 секунда. Также проекты можно запускать вручную из интерфейса или дёргать через REST API из DVT или внешних систем.

Многопоточная выгрузка (демо)

Кириллица в именах полей

Мы задали вопрос: можно ли, чтобы поля в таблицах хранилища загружались с русскими названиями? Можно, но есть нюанс: в ClickHouse стоит ограничение на суммарную длину пути (от корневой папки до имени файла) плюс имя поля. Кириллица «весит» 3–4 байта на символ (против 1–2 у латиницы), поэтому при длинных кириллических именах можно упереться в лимит. Для PostgreSQL и MS SQL предпочтительны именования таблиц и полей на латинице.

DVT (Denvic Visual Transformer)

После того как данные попали в хранилище, их часто нужно трансформировать: очистить, обогатить, построить витрины. Для этого в экосистеме «Денвик» есть DVT – визуальный ETL-инструмент.

DVT – это веб-сервис, который разворачивается в отдельном Docker-контейнерах. Пользователь работает через браузер.

Визуальный граф

Трансформация строится как визуальный граф (пайплайн), состоящий из кубиков. Каждый кубик – отдельная операция: подключение к источнику, чтение данных, фильтрация, группировка, джойн, вычисление, запись в приёмник. Кубики соединяются стрелками, формируя последовательность обработки.

На демо показали один из рабочих проектов: подключение к REST API внешней платформы, парсинг JSON-ответа в табличный вид, серия трансформаций и запись результата в базу данных. На каждом шаге можно посмотреть промежуточные данные – нажимаем кнопку и видим датафрейм, который прошёл через этот кубик.

Набор кубиков (нод_

Источники данных – REST API (HTTP-запросы), подключения к базам данных (PostgreSQL, MS SQL, MySQL, ClickHouse), файловое хранилище S3 (Parquet, Excel, CSV).

Трансформации – выбор колонок, фильтрация по условию, группировки, джойны, pivot / unpivot, регулярные выражения, переименование колонок, разделение колонки на несколько (например, ФИО на три отдельных поля), преобразование типов, работа с датами (приведение к началу месяца, добавление дней/часов), работа с таймзонами, удаление пустых строк и ненужных колонок.

Код – если готового кубика нет, можно вставить блок с произвольным Python-кодом. Все таблицы внутри DVT представлены как датафреймы (аналог pandas DataFrame), поэтому Python-блок получает на вход датафрейм и возвращает датафрейм.

Запись – результат можно отправить обратно в базу данных или в файл (CSV, Excel, Parquet).

Все кубики под капотом написаны на Python. Если какого-то готового кубика нет, можно написать свой.

Подмодели

На момент написания статьи (март 2026) в DVT появился функционал “расширений”:

– Битрикс24;

– Яндекс.Метрика;

Данные кубики являются специально организованными моделями данных для Битрикс24 и Яндекс Метрика, в которых заложена вся механика работы с данными интернет-сервисами, включая таймауты, особенности чтения данных и прочее.

Подмодели

На момент написания статьи (март 2026) в DVT уже появились субграфы (свёртывание части графа в подмодель). Выделяете группу кубиков, сворачиваете в один блок, а потом при необходимости проваливаетесь внутрь. Это упрощает чтение сложных пайплайнов и делает их поддержку проще. На момент нашей встречи функция была в разработке.

Расписание

DVT поддерживает запуск проектов по расписанию. Также через центр управления (DCC*) можно выстроить цепочку: сначала запускается экстрактор (забирает данные из 1С), затем DVT (трансформирует их в витрину), результат доступен для BI-системы. Таким образом в качестве внешнего оркестратора исполнения проектов в цепочке Экстрактор 1С — DVT — Инжектор 1С — можно использовать любой инструмент, принятый в вашей компании, от cron или PowerShell до Apache AirFlow.

(* доступно в Enterprise версии)

Приёмники данных

Экстрактор поддерживает выгрузку в следующие приёмники:

• Реляционные СУБД – ClickHouse, PostgreSQL, MS SQL, MySQL.

• Очереди сообщений – Kafka и любые брокеры, поддерживающие протокол AMQP (RabbitMQ, ActiveMQ и др.).

• Нативные интеграции с BI-вендорами – Yandex DataLens, FastBoard, Visiology. Для Visiology существует отдельная совместная сборка: когда Visiology продаёт свою BI-платформу клиенту с 1С, они предлагают встроенный коннектор, который является продуктом «Денвик».

• Datareon – поддержка для клиентов, использующих эту интеграционную платформу.

Безопасность и совместимость

Экстрактор передаёт данные в зашифрованном виде. Работает полностью локально, без подключения к интернету, что критично для компаний с закрытым контуром. Разграничение прав доступа реализовано на уровне объектов экстрактора по ролям (то есть можно ограничить, кто из пользователей какие проекты выгрузки видит и может запускать). На уровне самих данных ограничений нет – разграничение доступа к данным обеспечивается платформой 1С.

Экстрактор используется в государственных компаниях, розничных сетях, строительных компаниях, агрохолдингах, финтехе, на производственных предприятиях.

По конфигурациям 1С ограничений нет – работает с любыми, включая кастомные.

Лицензирование и стоимость

Лицензии бессрочные – купили один раз и пользуетесь. В первый год включены обновления и техническая поддержка. Далее поддержка и обновления продлеваются отдельно; если не продлевать – продукт продолжает работать, но без обновлений.

Стоимость – по запросу. Вендор предпочитает индивидуальный расчёт, поскольку цены индексируются и зависят от масштаба клиента, количества баз 1С и количества пользователей.

Что известно о структуре лицензирования:

Экстрактор 1С – лицензируется по количеству подключённых баз 1С. Есть несколько уровней: на одну базу, на четыре базы, индивидуальные условия для крупных клиентов.

DVT (Denvic Visual Transformer) – лицензируется по количеству воркеров (фоновых процессов, исполняющих пайплайны).

Сборка Enterprise (с Центром управления) – комплексная лицензия для крупных внедрений.

Каждый продукт экосистемы продаётся и лицензируется отдельно. В перспективе планируется единый продукт Denvic Tools с комплексной лицензией.

Целевая аудитория по масштабу – компании с оборотом от 1 млрд рублей. Ранее в компании рассматривали клиентов от 200 млн, но с ними экономика проекта не складывается – берут минимальные лицензии, и трудозатраты на поддержку не окупаются.

Заключение

Что понравилось

• Простота установки и начала работы – расширение устанавливается за 3 минуты через инсталлятор, работает в привычном интерфейсе 1С. Не нужно разворачивать отдельную инфраструктуру.

• Режим «Объект» для не-программистов – выбрал объект, проставил галочки, запустил. Для базовых сценариев выгрузки не нужен ни 1С-разработчик, ни знание SQL.

• Инкрементальная загрузка через подписки – экстрактор отслеживает изменения в 1С и выгружает только то, что изменилось. Минимальная нагрузка на базу 1С.

• Гибкая сегментация – данные можно нарезать по времени, по организациям, по менеджерам и комбинировать правила. Разные размеры сегментов для инициализации и регулярных обновлений.

• Многопоточность – параллельная выгрузка в несколько потоков, до 10 000 строк в секунду по заявлению вендора.

• DVT как визуальный ETL – полноценный инструмент трансформации с веб-интерфейсом, графом кубиков, возможностью писать Python-код. Закрывает потребность в подготовке данных для BI-витрин.

• Экспорт/импорт проектов – можно тиражировать настройки между клиентами с похожими конфигурациями 1С.

• Нативные интеграции с BI-вендорами – DataLens, FastBoard, Visiology. Не нужно ничего «допиливать», коннектор идёт из коробки.

• Бессрочные лицензии – купили и пользуетесь, без ежегодных платежей за само ПО.

• Честность вендора – на встрече разработчик прямо говорил об ограничениях: какие функции не развивают, где архитектурно «не идеально», какой минимальный масштаб клиента имеет смысл.

Что вызвало вопросы

• Разрозненность экосистемы –  каждый компонент — самостоятельный инструмент со своим интерфейсом. Это даёт гибкость (можно купить только то, что нужно), но требует привыкания к нескольким UI. Вендор движется к объединению интерфейсов под Denvic Tools.

• Целевая аудитория – от 500 млн оборота  – вендор ориентирован на клиентов с оборотом от 500 млн. Для компаний меньшего масштаба связка «экстрактор + DVT» может оказаться за пределами типового СМБ-бюджета – но думаю, стоит запросить расчет под конкретный кейс, хотя есть специальный набор mini-лицензий для малого бизнеса.

• Стоимость Enterprise-сборки – в рамках бюджета 1,5 млн рублей на весь BI-проект (лицензии + внедрение) Enterprise-вариант с центром управления, скорее всего, не укладывается. Однако базовая лицензия на экстрактор вполне вписывается и оставляет бюджет на BI-систему и внедрение.

• Цены подвижны – вендор прямо сказал, что цены индексируются, и конкретные суммы могут измениться через полгода. Для точного расчёта нужно обращаться в отдел продаж.

Как «Денвик» вписывается в наш сценарий

«Денвик» – это не замена BI-системе, а дополнение к ней. Для нашего типичного клиента из СМБ с ландшафтом «1С + Excel» и бюджетом 1,5 млн рублей сценарий может выглядеть так: экстрактор «Денвик» забирает данные из 1С и кладёт их в ClickHouse или PostgreSQL, а BI-система строит отчётность поверх хранилища. При таком раскладе экстрактор закрывает ту самую боль с 1С, которая всплывала во всех наших обзорах, а бессрочная лицензия позволяет уложиться в бюджет с запасом на BI-платформу и работу по внедрению.

Для более крупных клиентов с несколькими базами 1С и потребностью в трансформации данных имеет смысл добавить DVT. Точную стоимость связки лучше уточнять у вендора напрямую, но по общему позиционированию продукт ориентирован на средний и крупный бизнес и укладывается в разумный бюджет.

Это бонусная статья из серии обзоров российских BI+ETL-систем. Основные обзоры – PolyAnalyst, Modus ETL & BI, Insight,Biplane24, AW BI, DataLens, «Форсайт» – опубликованы ранее. Если у вас есть вопросы по бизнес-аналитике, пишите в комментариях к этому материалу или через форму на сайте. Оставляю ссылку на наши предложения и кейсы по внедрению BI-систем.

_______________________________________________________

14 мая проведем вебинар с демонстрацией low-code коннектора к «1С:Шине» от «Денвик».

Для участников вебинара предоставим бесплатный тестовый доступ — берите, пробуйте, делитесь обратной связью!

Спикеры вебинара

Дата: 14 мая

Время: 12:00 МСК

Формат: онлайн

Зарегистрироваться на вебинар 14 мая