Apache Iceberg последние полгода активно обсуждается в дата-сообществе — обновления закрыли давние боли инженеров, а интерес к технологии возрос у бигтеха. В команде нашего SaaS-решения для работы с большими данными SubQuery решили собрать бесплатный обучающий курс по Apache Iceberg — впервые на русском языке, с практическими заданиями и наглядными примерами.
Курс рассчитан на инженеров данных, аналитиков и всех, кто работает с большими данными. На сайте уже доступны все шесть частей: https://subquery.ru/course/iceberg
Почему Iceberg
Технология существует на рынке несколько лет, но за последние полгода вышли обновления, которые по сути решили ключевые ограничения. Если упростить — Iceberg теперь умеет то, для чего раньше приходилось городить костыли: ACID-транзакции в data lake, эволюция схемы без переписывания данных, time travel, ветвление таблиц в духе Git.
Директор по данным Далее Всеволод Миронович начал погружаться в эту тему еще в начале 2025 года. Хороших материалов на русском тогда не нашлось — только англоязычные видеоуроки Тима Берглунда и разрозненные статьи. Наша команда взяла за основу эти уроки, адаптировала упражнения под реальные сценарии, перевела и оформила в виде статей. Курс проверили на практике собственноручно команда SubQuery — параллельно с внедрением Iceberg в само решение.
«Когда я познакомился с Iceberg, запустить его сразу в продакшн не решился — из-за недостаточной поддержки движками и сырости каталогов. Но сегодня, оглядываясь назад из 2026 года, уже можно точно сказать: Iceberg выиграл у аналогичных форматов — Delta Lake и Hudi — и стал самым популярным решением. Его экосистема значительно выросла и окрепла, на рынке появилось много специалистов, и с ним уже работает всё больше крупных компаний», — говорит Всеволод Миронович, директор по данным Далее и руководитель команды продукта для анализа данных SubQuery.
Что внутри курса
Обучение состоит из 19-ти уроков и 6-ти тематических блоков в формате статей на странице курса. На каждый урок необходимо 1–1,5 часа с практикой.
Часть 1. Архитектура Iceberg: манифесты, снэпшоты, метаданные. Каталоги — Hive Metastore, AWS Glue, REST Catalog. Первая таблица, первые данные, первый взгляд на то, как работают снэпшоты.
Часть 2. ACID в data lake на практике. Copy-on-write vs merge-on-read. Эволюция схемы: добавление, удаление, переименование колонок без боли.
Часть 3. Партицирование и hidden partitioning. Эволюция партиций — можно менять стратегию без переписывания данных. Z-ordering и кластеризация для ускорения запросов.
Часть 4. Time Travel: запросы к прошлым версиям таблицы, rollback после нежелательных изменений. Машина времени для data lake — звучит как маркетинг, работает как эффективный инструмент.
Часть 5. Ветвление и тегирование — Git-подобный процесс для данных. Метатаблицы: файлы, партиции, статистика, история изменений под капотом.
Часть 6. Обслуживание таблиц и экосистема движков запросов: очистка старых снапшотов, компактификация файлов и оптимизация хранения данных. Знакомство со Spark, Flink и Trino.
Если у вас заканчивается место на диске, данные теряются при перезаписи или нужна история изменений — Iceberg решает именно это.
Курс уже доступен на сайте — регистрация не нужна: https://subquery.ru/course/iceberg
P. S. Подписывайтесь на канал SubQuery в Телеграм и Максе — там сможете задать вопросы команде, пообщаться с теми, кто уже начал обучение, а также найдете полезные посты про дата-инжиниринг.
ссылка на оригинал статьи https://habr.com/ru/articles/1056002/