Ракеты и снаряды дата-инженеров: коллекция инструментов по управлению большими данными

В несложных проектах роли дата-сайентиста и дата-инженера может совмещать один человек. В крупных же компаниях требуется собирать много данных из разных систем и за каждый процесс отвечает отдельный дата-инженер или команда дата-инженеров. Дата-сайентисты же занимаются только функциями моделирования и анализа.

Да, DS может обойтись без DE, при этом область применения DS будет существенно сужаться, так как знать все системы компании, особенно крупной, невозможно. Кроме того, процесс станет сильно медленнее, ведь будет уходить время на изучение систем вместо работы с моделями и данными.

Архитектура хранилища очень масштабная, чтобы осилить её только одним направлением. Можно, конечно, чтобы DS выполнял и подготовку данных, и анализ архитектуры. Но давайте не забывать хорошую поговорку: «За двумя зайцами погонишься…» Можно попробовать как-то оптимизировать домены, управлять шаблонными действиями, но полностью обеспечить под ключ решение для потребителей, на мой взгляд, не получится.

Схема звезды — один из паттернов при создании модели в хранилищах данных, «одна из наиболее популярных [схем]» — как сказано в статье. Сейчас используются разные модели и подходы при проектировании ХД — модели «звезда» и «снежинка», якорная модель, Data Vault.

Нельзя сказать, что хранилище данных — конечная точка ETL. Кроме доставки данных до хранилищ ETL-процессы также разрабатывают для трансформаций данных внутри хранилищ — процессы работают между слоями, для расчётов витрин, агрегатов.

Пакетная загрузка — самый быстрый способ передачи большого объёма данных и в обозримом будущем никуда не исчезнет. Одним из главных двигателей в развитии потоковой обработки сегодня является скорость принятия оперативных управленческих решений: принять решение о выдаче кредита прямо сейчас, показать рекламу на основании 10 последних запросов…

Нет универсальных инструментов. Каждый класс инструментов хорош в одних задачах, но не обеспечивает требования в других. Нельзя сказать, что пакеты уходят в прошлое, основываясь только на появлении новых инструментов. Они лишь только дополняют общий стек, что покрывает больше задач, оптимизируя затраты и повышая производительность. Драйвером изменений всегда является потребитель. Если есть спрос, то появятся и предложения.

Заявление, на мой взгляд, слишком смелое. Можно его сделать про класс подобных средств. Гибкие средства реализации распределённой обработки данных, как MapReduce, и альтернативы (Tez, Spark и т. п.) обеспечивают свойство универсальности, без которого нет современных платформ Big Data.

MapReduce — это один из фреймворков, но он не обязателен для решения задач Big Data.

Автор также это указывает в статье: «Существует множество альтернативных программных моделей, работающих с большими данными, которые могут даже оказаться лучше или гибче, чем MapReduce, но тот однозначно может считаться самым упрощённым, хотя, может быть, и не самым эффективным».

Скорее имеются в виду пользовательские ожидания от платформ для Big Data (где пользователи — это команда, выбирающая платформу для разработки), а не обязательность использования в Big Data.

Кроме MapReduce существуют и другие варианты обработки больших объёмов данных, но, как правило, все они основаны на разделении одного набора данных на кусочки для параллельной обработки.

Главное ключевое достоинство — это стоимость хранения и обработки массивных данных. Также очень важны для неугасающего распространения широко освещённый опыт применения и распространившаяся экспертиза. Профессиональное сообщество верит в Hadoop благодаря многочисленным удачным применениям (внедрениям) командами тысяч организаций по всему миру, в т. ч. лидерами, на протяжении десятка лет. К тому же крупные вендоры приложили множество усилий, чтобы проложить Hadoop дорогу в индустрии.

Hadoop относительно дешёвая платформа для хранения большого объёма данных. При этом есть хорошие возможности для масштабирования при развитии системы и увеличении объёма данных. Hadoop как набор утилит, библиотек позволяет выбрать те, которые требуются компании для решения её задач.

Среди достоинств можно выделить: пониженные требования к аппаратному обеспечению, Open-Source-реализация, наличие большого сообщества и де-факто стандарт в хранении большого объёма данных и работе с ним.

Open Source — это одно из достоинств данной системы. Интерес разработчиков в том, чтобы на базе одного продукта реализовать и покрыть большинство решаемых задач.

На DataTalks 2.0 мы сосредоточились на вопросах, которые были недораскрыты на первом курсе лекций: архитектура хранилища, качество данных, DataOps и MLOps. Самый важный вопрос, который мы хотели осветить на DataTalks 2.0, — подходы к построению Data Governance. Для внедрения дата-инициатив в компаниях важны не только технологии, но и люди и процессы. Вопросы баланса между ключевыми компонентами Data Governance волнуют каждого, кто работает в этом направлении и задумывается об эффективности.

Мы пока не готовы анонсировать программу DataTalks 3.0. Но мы будем раскрывать темы, о которых не успели поговорить на предыдущих мероприятиях. Это будет интересно и начинающим, и профессионалам.

На Hadoop достаточно широко распространены архивы детальных исторических данных, в т. ч. не структурированных. Дешёвое накопление в одном месте данных за старые периоды из всех бизнес-систем организаций даёт возможность в будущем получать пользу, даже если мы сейчас не представляем, какого рода она будет и на какой обработке будет реализована. Можно сказать, что Hadoop хорош как стратегическое средство накопления данных.

Hadoop может использоваться как основа для Data Lake, кроме того на этой экосистеме можно выполнять множество распределённых задач — обработка научных данных (статистика, химия, генетика, и т. д.).

На мой взгляд, здесь вопрос скорее в позиционировании компании на IT-рынке. Надо понимать, что «Яндекс» и Mail.ru являются IT-компаниями и рассматривают новые технологии (Big Data, in-memory, key-value СУБД и прочее) как свой потенциальный актив, в котором они могут создавать дополнительную ценность и далее монетизировать её. Для этого в IT-компаниях есть команды архитекторов, аналитиков, разработчиков и тестировщиков решений. Сложно представить, чтобы компании ритейла, банковского или нефтегазового секторов так же активно инвестировали собственные ресурсы в создание новых технологий. За исключением компаний, которые выбрали свою стратегическую цель создания цифровой экосистемы и начали выходить за рамки своей профильной деятельности.

Влияет не только масштаб, но и другие условия, такие как специфика отрасли, задач. У всех больших компаний есть специфика компании, задач, архитектуры, и часто решения, первоначально разработанные для другой специфики, сложно использовать (в том числе и Hadoop).