Highload-блоки в Битрикс24

Привет, Хабр!

Сегодня мы поговорим о том, как highload-блоки в Битрикс24 могут помочь справиться с большими объемами данных и обеспечить стабильную работу систем при высоких нагрузках.

Highload-блоки в Битрикс24 — это специальный инструмент для работы с большими наборами данных в условиях высоких нагрузок. В отличие от стандартных инфоблоков, highload-блоки ориентированы на обработку большого объема данных с высокой производительностью.

Highload-блоков позволяют:

• Уменьшить время отклика системы.

• Снизить нагрузку на БД.

• Оптимизировать процесс обработки данных.

Основные возможности

Поддержка NoSQL и ORM

Highload-блоки используют NoSQL подход для хранения и обработки данных. Так можно эффективно работать с неструктурированными и полуструктурированными данными.

ORM позволяет взаимодействовать с базой данных через объектно-ориентированные модели. Так получаем поддержку различных операций с данными, таких как создание, чтение, обновление и удаление, через объектные методы.

Настройка и интеграция с другими модулями

Сущестсует возможность использования highload-блоков для хранения доп. данных, связанных с CRM-сущностями, такими как контакты, сделки и компании.

Также есть поддержка кастомных полей (например, TagSelector), которые могут быть использованы в фильтрах и отчетах CRM.

Highload-блоки могут быть использованы для хранения данных, которые нецелесообразно хранить в стандартных инфоблоках из-за их объема или специфики.

Процесс настройки highload-блоков

Все стартует с создания highload-блока:

Переходим в административную часть Битрикс24. В меню выбераем раздел «Контент» и затем «Highload‑блоки». Нажимаем кнопку «Добавить highload‑блок». Указываем имя блока и его таблицы в Бд, а также код, который будет использоваться в коде. Там же можно указать группы пользователей.

Далее необходимо перейти к настройке блока. Добавляем необходимые поля, указав их тип (строка, целое число, дата и т. д.), название и доп. параметры, такие как обязательность заполнения и уникальность. Например, для справочника товаров можно создать поля «ID», «Название товара», «Цена», «Описание» и т. д.

Чтобы добавить элементы в highload‑блок, переходим к административной части, выбираем созданный highload‑блок и добавляемновые записи, заполнив соответствующие поля. Этот процесс аналогичен добавлению элементов в инфоблоки, но с учетом оптимизаций для высоких нагрузок.

Рассмотрим примеры настройки полей для различных кейсов:

• Справочник товаров:

  • Поля: ID (автоинкремент), Название (строка), Цена (целое число), Описание (текст), Дата добавления (дата/время).

  • Для поля «Цена» можно задать валидацию на положительное значение.

• Кастомные поля (TagSelector):

  • Поля: ID (автоинкремент), Тег (строка).

  • В настройках можно включить возможность выбора нескольких тегов и указать их отображение в виде списка или дерева.

Пример кода для создания и настройки полей highload-блоков:

use Bitrix\Highloadblock as HL; use Bitrix\Main\Entity;  $hlblock = HL\HighloadBlockTable::add(array(     'NAME' => 'ProductCatalog',     'TABLE_NAME' => 'b_product_catalog' )); $entity = HL\HighloadBlockTable::compileEntity($hlblock);  $fields = array(     array(         'ENTITY_ID' => 'HLBLOCK_' . $hlblock['ID'],         'FIELD_NAME' => 'UF_NAME',         'USER_TYPE_ID' => 'string',         'MANDATORY' => 'Y'     ),     array(         'ENTITY_ID' => 'HLBLOCK_' . $hlblock['ID'],         'FIELD_NAME' => 'UF_PRICE',         'USER_TYPE_ID' => 'double',         'MANDATORY' => 'Y'     ),     array(         'ENTITY_ID' => 'HLBLOCK_' . $hlblock['ID'],         'FIELD_NAME' => 'UF_DESCRIPTION',         'USER_TYPE_ID' => 'string'     ),     array(         'ENTITY_ID' => 'HLBLOCK_' . $hlblock['ID'],         'FIELD_NAME' => 'UF_DATE_ADDED',         'USER_TYPE_ID' => 'datetime'     ) );  foreach ($fields as $field) {     $result = $entity::addField($field);     if (!$result->isSuccess()) {         echo implode(', ', $result->getErrorMessages());     } }

Импорт данных в highload-блоки можно выполнить через административную часть или с помощью API. Поддерживаются форматы CSV и XML. В случае CSV файла необходимо подготовить файл с заголовками, соответствующими полям highload-блока.

Пример для импорта данных из CSV:

$csvFile = '/path/to/file.csv'; $handle = fopen($csvFile, 'r'); while (($data = fgetcsv($handle, 1000, ',')) !== FALSE) {     $result = $entity::add(array(         'UF_NAME' => $data[0],         'UF_PRICE' => $data[1],         'UF_DESCRIPTION' => $data[2],         'UF_DATE_ADDED' => $data[3]     ));     if (!$result->isSuccess()) {         echo implode(', ', $result->getErrorMessages());     } } fclose($handle);

Экспорт данных из highload-блоков также поддерживает форматы CSV и XML. Можно использовать стандартные методы выборки данных и записи их в файл.

Пример:

$csvFile = '/path/to/export.csv'; $handle = fopen($csvFile, 'w'); fputcsv($handle, array('ID', 'Name', 'Price', 'Description', 'Date Added'));  $result = $entity::getList(); while ($item = $result->fetch()) {     fputcsv($handle, array(         $item['ID'],         $item['UF_NAME'],         $item['UF_PRICE'],         $item['UF_DESCRIPTION'],         $item['UF_DATE_ADDED']     )); } fclose($handle);

Экспорт данных в формат RSS может быть выполнен с использованием стандартных библиотек PHP для генерации RSS-каналов.Так можно постить обновления и новости, связанные с данными highload-блоков.

Пример кода:

use Bitrix\Highloadblock as HL; use Bitrix\Main\Entity;  // подключаем необходимые модули и файлы require($_SERVER["DOCUMENT_ROOT"]."/bitrix/modules/main/include/prolog_before.php"); CModule::IncludeModule('highloadblock');  // указываем ID highload-блока и получаем информацию о нём $hlblockId = 1; // Замените на ID вашего highload-блока $hlblock = HL\HighloadBlockTable::getById($hlblockId)->fetch(); $entity = HL\HighloadBlockTable::compileEntity($hlblock); $entityDataClass = $entity->getDataClass();  // получаем данные из highload-блока $rsData = $entityDataClass::getList(array(     "select" => array('ID', 'UF_NAME', 'UF_DESCRIPTION', 'UF_DATE_ADDED'),     "order" => array('UF_DATE_ADDED' => 'DESC'),     "limit" => 20 ));  header('Content-Type: application/rss+xml; charset=utf-8');  echo '<?xml version="1.0" encoding="UTF-8" ?>'; echo '<rss version="2.0">'; echo '<channel>'; echo '<title>Highload-блок RSS</title>'; echo '<link>http://yourwebsite.com/</link>'; echo '<description>Новости из highload-блока</description>'; echo '<language>ru</language>';  // проходим по данным и формируем элементы RSS while ($arItem = $rsData->fetch()) {     echo '<item>';     echo '<title>' . htmlspecialchars($arItem['UF_NAME']) . '</title>';     echo '<link>http://yourwebsite.com/item/' . $arItem['ID'] . '</link>';     echo '<description>' . htmlspecialchars($arItem['UF_DESCRIPTION']) . '</description>';     echo '<pubDate>' . date(DATE_RSS, strtotime($arItem['UF_DATE_ADDED'])) . '</pubDate>';     echo '</item>'; }  echo '</channel>'; echo '</rss>';

Используя ID highload-блока, получаем информацию о нём и данные, которые будем экспортировать в RSS-формат. Устанавливаем заголовок Content-Type, чтобы указать браузеру, что документ является RSS-лентой. В блоке while проходим по всем элементам, полученным из highload-блока, и формируем соответствующие элементы RSS <item>.

Highload-блоки в Битрикс24, несмотря на их мощность, имеют ряд ограничений и потенциальных проблем. Одно из основных ограничений является объем данных и производительность. Хотя highload-блоки могут хорошо работать с миллионами записей, производительность системы может снижаться при увеличении объема данных. Это связано с тем, что запросы к БД могут становиться более медленными, особенно если они не оптимизированы или отсутствует кэширование.

При увеличении объема данных может возникнуть необходимость в оптимизации самой БД:, индексация, настройка параметров кэширования и т.п.

В заключение напоминаю про открытый урок, на котором участники обсудят изменение пользовательских интерфейсов в Битрикс24.

К концу занятия вы узнаете, почему не стоит использовать переопределение шаблонов компонентов, как встраивать пользовательские поля с произвольной версткой, как встраивать REST приложения и дорабатывать интерфейс при помощи JavaScript.

Встреча пройдет 16 июля. Если актуально — записывайтесь по ссылке.