Open source GreenPlum: а что дальше?

Наверняка, многие уже слышали, что новый правообладатель GreenPlum – компания Broadcom – перевела репозитории с открытым исходным кодом на GitHub в архивный статус. 

Теперь основной репозиторий GreenPlum выглядит примерно так:

Новые версии оригинального ядра, вероятнее всего, уже не будут выкладываться в публичный доступ, а начнут появляться только в коммерческой версии продукта. Это касается и 6-й, и 7-й версии. 

Версии ядра, которые были выложены в open source на момент закрытия репозитория, остались под лицензией Apache 2.0, и их можно легально использовать. Но, как видно на скриншоте выше, в оригинальном репозитории не осталось веток, тегов и дистрибутивов. 

Мы – ГК “ГлоуБайт” – уже больше двух лет развиваем инструменты над open source GreenPlum 6 и выкладываем их в открытый доступ под лицензией Apache 2.0. Об этом мы писали статью, в которой прикладывали ссылки на все наши open source репозитории. 

Для сборки исходных кодов GreenPlum и дополнительных утилит мы использовали свои пайплайны и зеркала оригинального репозитория GreenPlum.

Сегодня мы решили перевести эти репозитории в открытый доступ на нашем GitLab. 

По ссылкам ниже доступен оригинальный код GreenPlum без каких-либо изменений, с сохранением оригинальных веток и тегов. 

Более того, к репозиториям мы добавили ссылки на скачивание дистрибутивов, собранных нашими пайплайнами, включая дистрибутивы под версии ОС, которых ранее не было в открытом доступе: Ubuntu 22.04, Альт Сервер 9.

Сейчас для скачивания доступны дистрибутивы GreenPlum 6.24.6 и 6.25.3. В скором времени появятся сборки под более новые версии до 6.27.1, которая была последней на момент закрытия репозиториев. 

В планах – выложить дистрибутив последнего доступного GreenPlum 7.1 и провести нагрузочные тесты для сравнения с 6.х. Цели нагрузочного тестирования:

• проверить стабильность новой версии под конкурентной нагрузкой, 

• сравнить производительность.

Ссылки на репозитории:

https://git.angara.cloud/gbgreenplum/greenplum-db/gpdb

https://git.angara.cloud/gbgreenplum/greenplum-db/pxf

А вот так выглядит наш репозиторий, ветки и теги на месте!

Также напомню, что у нас есть репозитории с инструментами поверх GreenPlum, о которых я писал в предыдущей статье: 

https://git.angara.cloud/gbgreenplum/greenplum.monitoring – репозиторий мониторинга кластера,

https://git.angara.cloud/gbgreenplum/greenplum.metric.hook – репозиторий библиотеки хуков,

https://git.angara.cloud/gbgreenplum/greenplum.playbook.core – репозиторий для плейбуков установки ядра GreenPlum,

https://git.angara.cloud/gbgreenplum/greenplum.playbook.monitoring – репозиторий для плейбуков установки мониторинга,

https://git.angara.cloud/gbgreenplum/greenplum.playbook.loadtest – репозиторий для плейбуков установки фреймворка нагрузочного тестирования.

Мы решили пойти еще дальше – и в скором времени откроем репозиторий с нашим агентом для сбора и хранения полученных метрик. 

Раньше эта часть предполагалась только для использования под нашим Cluster Manager, но мы решили поделиться ей со всеми. 

После открытия репозитория достаточно будет запустить плейбук установки, сконфигурировать фильтры для отсечения лишних запросов и наблюдать как в отдельной БД на PostgreSQL появляется информация по активным запросам и формируется их история. 

Ниже представлена схема работы агентов: 

Исходный код наших пайплайнов сборки и докер-файлов также планируем открывать. Каждый сможет самостоятельно собрать дистрибутив под себя со своими ключами в своей среде разработки, взяв за основу наши пайплайны сборки.  

В комментариях было бы интересно почитать ваше мнение по поводу закрытия исходных кодов GreenPlum и мысли о будущем использовании на ваших проектах.