Настройка мультинодового кластера Airflow с HDP Ambari и Celery для конвейеров данных
—
от автора
—
от автора
Airflow — идеальный выбор для конвейеров данных, то есть для оркестрации и планирования ETL. Он широко применяется и популярен для создания конвейеров передачи данных будущего. Он обеспечивает обратное заполнение, управление версиями и происхождение с помощью функциональной абстракции. Функциональное программирование —…
—
от автора
Более чем год назад мы публично представили нашу открытую и бесплатную платформу lsFusion. Многие тогда задавали нам вопрос : зачем мы создавали свой собственный язык, ведь уже существует огромное множество других популярных языков.Да, мы прекрасно понимали, что собственный язык значительно…
—
от автора
В 2010 году я начал работать в компании «Онланта» в должности пресейла. Отечественный рынок облачных услуг на тот момент только развивался, но уже был заряжен большим потенциалом. Недолго думая, в 2011 году мы приняли решение зайти на рынок в качестве…
—
от автора
Левел-дизайн позволяет нам создавать карты, а игрокам — получать удовольствие от геймплея. Оба эти утверждения будут работать только в том случае, если левел-дизайн поддерживает механики игры.В этой статье я расскажу, как на проекте War Robots при создании карт мы учитываем…
—
от автора
Mac всегда отличался от своего близкого родственника iOS, особенно в отношении того, что пользователю можно и нельзя запускать в своей системе. Даже после появления Apple Silicon компания Apple чётко дала понять, что Mac остаётся Mac, и его по-прежнему можно хакать,…
—
от автора
В современном мире услуги доставки становятся всё более популярными и востребованными, поэтому любая возможность автоматизации в этой сфере принесёт большую пользу как бизнесу, так и пользователям. В прошлых статьях нашего блога мы рассказывали о применении машинного зрения и нейронных сетей…
—
от автора
NodeGUI — фреймворк, который позволяет писать нативные кроссплатформенные десктопные приложения. Под капотом он использует Qt для отрисовки интерфейса. Есть возможность подключить React или Vue. Также существует имплементация с Angular от irustm. Эта статья будет опираться именно на версию с React.…
—
от автора
Очень часто драматически и патетически утверждают, что техдолг лучше не плодить — потом не устранишь. Да, без него, конечно, лучше. Но последствия устранить все-таки можно, и глава Программного комитета Артем Каличкин на конференции DevOpsConf 2020 поделился своим опытом в этой…
—
от автора
Привет, меня зовут Иван, я работаю бэкенд-разработчиком в Skyeng. Не буду говорить, что мечтал стать программистом с самого детства. Наверное, как многие советские мальчишки в начале 80-х, я хотел быть лётчиком.В самолёты я влюбился года в четыре, когда первый раз…
—
от автора
Одно из нововведений в iOS 14 — виджеты. Мы стали готовиться к этому событию задолго до официального релиза, чтобы они появились у пользователей приложения Яндекс уже на старте. В этом посте я расскажу об опыте разработки виджетов в условиях нестабильного…