Yandex Cloud открыла доступ к Hive Metastore как к управляемому сервису в облаке, рассказали Хабру в пресс-службе платформы. Благодаря доступности Hive Metastore на облачной платформе дата‑инженеры смогут проще развернуть сервис, а также сократить вероятность отказов и проблем при работе с данными. Hive Metastore предоставляется бесплатно на этапе Public Preview и уже доступен по запросу для пользователей облачной платформы.
Hive Metastore хранит метаданные (данные о пути к файлам, о колонках и типах данных), помогающие обращаться к массивам данных и преобразовывать их в реляционные таблицы — подготовленный формат для разработки бизнес‑систем. Hive Metastore предоставляет метаданные приложениям и помогает ускорять доступ и обработку конкретных данных из облачного хранилища.
Технология интегрирована с сервисом для обработки массивов данных Yandex Data Proc. Технология представлена в виде отдельных кластеров, автоматически масштабирующихся и использующих Yandex Object Storage как основной вариант хранения данных. Размещение информации в Object Storage обеспечивает совместный доступ к данным из множества кластеров Data Proc, гарантирует надёжность хранения и высокую пропускную способность доступа к данным, заверили в Yandex Cloud.
Ссылка на страницу технологии.
ссылка на оригинал статьи https://habr.com/ru/articles/739382/
Добавить комментарий