Как использовать Apache Ignite как in-memory caching layer для ускорения доступа к данным

Привет, Хабр!

Apache Ignite — это высокопроизводительная, распределённая in-memory платформа, которая предназначена для хранения и обработки больших объёмов данных с ультранизкой задержкой. Основная фича Ignite заключается в его способности обеспечивать молниеносный доступ к данным, распределённым по горизонтально масштабируемому кластеру.

Apache Ignite поддерживает множество функций:

• Распределённое кэширование: Ignite позволяет кэшировать данные в памяти.

• SQL-совместимость: Ignite предоставляет возможность работы с данными через SQL-запросы.

• Транзакции с гарантией ACID.

Настройка и конфигурация Apache Ignite как кэширующего

Для начала нужно определить конфигурацию кэша в Ignite. Это можно сделать через XML или программно в Java. Пример конфигурации кэша в XML:

<bean class="org.apache.ignite.configuration.IgniteConfiguration">     <property name="cacheConfiguration">         <bean class="org.apache.ignite.configuration.CacheConfiguration">             <property name="name" value="myCache"/>             <property name="cacheMode" value="PARTITIONED"/>             <!-- другие параметры -->         </bean>     </property> </bean>

Ignite можно развернуть в кластере, используя стандартные скрипты запуска, которые входят в его дистрибутив. Для запуска узла Ignite с Java 11 и выше необходимо установить переменную окружения JAVA_HOME и запустить скрипт ignite.sh или ignite.bat с необходимыми параметрами JVM для доступа к некоторым внутренним API JDK.

Для интеграции Ignite с существующими БД через JDBC нужно настроить Ignite как read-through и/или write-through кэш. Так Ignite может автоматически загружать и синхронизировать данные с БД. Можно использовать Ignite как первичное хранилище данных или как кэширующий слой между приложением и БД. Настройка JDBC происходит через определение соединений в конфигурации Ignite и настройки кэша для работы с базой данных, используя соответствующие ключи и параметры SQL.

Пример кода для настройки кэша JDBC:

CacheConfiguration cacheCfg = new CacheConfiguration("SQLPublicPersonCache"); cacheCfg.setIndexedTypes(Long.class, Person.class); cacheCfg.setCacheMode(CacheMode.PARTITIONED); cacheCfg.setSqlSchema("PUBLIC");  IgniteConfiguration igniteCfg = new IgniteConfiguration(); igniteCfg.setCacheConfiguration(cacheCfg); igniteCfg.setJdbcUrl("jdbc:mysql://[hostname]:[port]/[database]"); // Запуск узла Ignite Ignition.start(igniteCfg);

Код настроит кэш для объектов типа Person, используемый для SQL-запросов, и указывает параметры подключения к базе данных через JDBC.

Стратегии кэширования данных в Apache Ignite

Стратегия read-through предполагает, что при запросе данных, которых нет в кэше, кэш автоматически загружает данные из БД и сохраняет их в кэше для будущих запросов. Это уменьшает количество обращений к базе данных и ускоряет чтение данных, т.к при последующих запросах данные будут извлекаться непосредственно из кэша.

CacheConfiguration<String, MyData> cacheCfg = new CacheConfiguration<>("myCache"); cacheCfg.setCacheMode(CacheMode.PARTITIONED); cacheCfg.setReadThrough(true); cacheCfg.setWriteThrough(true);  IgniteCache<String, MyData> cache = ignite.getOrCreateCache(cacheCfg); // при отсутствии ключа в кэше, Ignite автоматически загрузит данные из БД MyData data = cache.get("key");

Write-through обеспечивает синхронизацию данных с базой данных в реальном времени при их изменении в кэше. Каждая операция записи в кэш сопровождается мгновенной записью в базу данных.

CacheConfiguration<String, MyData> cacheCfg = new CacheConfiguration<>("myCache"); cacheCfg.setCacheMode(CacheMode.PARTITIONED); cacheCfg.setWriteThrough(true);  IgniteCache<String, MyData> cache = ignite.getOrCreateCache(cacheCfg); // при выполнении put, данные также будут синхронизированы с БД cache.put("key", new MyData());

Cache-aside требует, чтобы приложение самостоятельно управляло загрузкой данных в кэш и их обновлением. Кэш при этом не взаимодействует напрямую с базой данных. Приложение сначала проверяет наличие данных в кэше, и если они отсутствуют, загружает их из базы данных и помещает в кэш для будущего использования.

IgniteCache<String, MyData> cache = ignite.getOrCreateCache("myCache"); MyData data = cache.get("key"); if (data == null) {     // загрузка данных из БД, если их нет в кэше     data = myDatabase.loadData("key");     cache.put("key", data); }

Интеграция и API Apache Ignite

Apache Ignite поддерживает распределенный SQL и Key-Value API, позволяющие работать как с традиционными SQL-запросами, так и с простыми операциями на ключах и значениях. SQL API Ignite позволяет выполнять сложные запросы с объединением, агрегацией и группированием данных, которые хранятся в памяти или на диске

Пример SQL запроса:

IgniteCache<Long, City> cityCache = ignite.getOrCreateCache("City"); String sql = "SELECT name, MAX(population) as maxPop FROM City GROUP BY name ORDER BY maxPop DESC"; QueryCursor<List<?>> cursor = cityCache.query(new SqlFieldsQuery(sql)); for (List<?> row : cursor) {     System.out.println("City: " + row.get(0) + ", Population: " + row.get(1)); }

Compute API Ignite позволяет распределенно выполнять задачи на узлах кластера. Сервисы Ignite позволяют развертывать и управлять долгоживущими бизнес-логиками в кластере, пример:

IgniteCompute compute = ignite.compute(ignite.cluster().forServers()); compute.broadcast(() -> System.out.println("Hello from node: " + ignite.cluster().localNode().id()));

Apache Ignite предоставляет API для машинного обучения, позволяя тренировать модели непосредственно на кластере, избегая дорогостоящей передачи данных. Real-Time Streaming API поддерживает интеграцию с системами потоковой обработки данных, такими как Apache Kafka и Apache Flink, для обработки потоков событий в реальном времени, пример:

KNNClassificationTrainer trainer = new KNNClassificationTrainer().withK(3); KNNClassificationModel mdl = trainer.fit(     ignite,     dataCache,     (k, v) -> new double[] {k.doubleValue()},     (k, v) -> v.doubleValue() ); double prediction = mdl.predict(new double[]{someValue});

Пример для кэширования данных веб-приложения

Сначала необходимо настроить и запустить узел Ignite. Для этого понадобится файлик конфигурации ignite.xml:

<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"        xsi:schemaLocation="http://www.springframework.org/schema/beans                            http://www.springframework.org/schema/beans/spring-beans.xsd">     <bean id="ignite.cfg" class="org.apache.ignite.configuration.IgniteConfiguration">         <!-- Включаем кеширование. -->         <property name="cacheConfiguration">             <list>                 <bean class="org.apache.ignite.configuration.CacheConfiguration">                     <!-- Название кеша -->                     <property name="name" value="myCache"/>                     <!-- Политика замещения -->                     <property name="evictionPolicy">                         <bean class="org.apache.ignite.cache.eviction.lru.LruEvictionPolicy">                             <property name="maxSize" value="10000"/>                         </bean>                     </property>                     <!-- Режим кеширования -->                     <property name="cacheMode" value="PARTITIONED"/>                 </bean>             </list>         </property>     </bean> </beans>

Запусаем узел Ignite, используя этот конфигурационный файл.

Подключите приложение к кешу Apache Ignite. В Java это можно сделать так:

IgniteConfiguration cfg = new IgniteConfiguration();  // устанавливаем конфигурацию кеша CacheConfiguration cacheCfg = new CacheConfiguration("myCache"); cacheCfg.setCacheMode(CacheMode.PARTITIONED);  cfg.setCacheConfiguration(cacheCfg);  // запуск Ignite node. Ignite ignite = Ignition.start(cfg);  // получение доступа к кешу. IgniteCache<Integer, String> cache = ignite.getOrCreateCache("myCache");  // пример работы с кешем. if (cache.get(1) == null)     cache.put(1, "data");

Таким образом можно кэшировать результаты сложных запросов к БД или часто запрашиваемые пользовательские данные.

С Apache Ignite можно существенно повысить производительность приложений и уменьшить время отклика.

В завершение хочу пригласить вас на бесплатный вебинар курса Data Engineer. Подробнее по ссылке.