Постгрессо 29


Мы продолжаем знакомить вас с самыми интересными новостями PostgreSQL.

Конференция PGConf.Online 2021

Она начинается уже 1-го марта и закончится 3-го. О ней подробно написано в статье Ивана Панченко, зам. гендира Postgres Professional.

На этой конференции (которая не вместо, а кроме офлайновой, теплой-ламповой, она ожидается в конце весны) будет рекордное число иностранных гостей — чему явно поспособствовал онлайн-формат. В том числе на этот раз поучаствует и Саймон Риггс (Simon Riggs). Доклады в 3 потока с 10 утра до 6 вечера. А также мастер-классы.

Статьи

PostgreSQL 14: Часть 4 или «январское наступление» (Коммитфест 2021-01)

Очередной must read Павла Лузанова. Крупные изменения после первых трех относительно скромных коммитфестов (июльский, сентябрьский, ноябрьский).

«Вопросы для затравки», предложенные Павлом:

  • Могут ли диапазоны содержать пропуски значений?
  • Зачем нужна индексная нотация типу json?
  • Может ли индекс при частых обновлениях разрастаться меньше, чем таблица? А вообще не разрастаться?
  • Сколько времени простаивали сеансы в idle_in_transaction?
  • Как построить ER-диаграмму для таблиц системного каталога?


Deep PostgreSQL Thoughts: The Linux Assassin

Слово deep уже пугает: не про ИИ ли это. Но нет. Джо Конвей (Joe Conway, Crunchy Data) действительно копает вглубь. Даже не Постгреса, не своего же расширения plr. На этот раз тема — Жуткий Убийца, являющийся из недр Linux — OOM Killer.

Джо начинает с истории: первые дискуссии в Postgres-сообществе и первые патчи в 2003-м году — как заставить киллера работать по понятиям Postgres. Далее Джо поясняет отношения киллера и Postgres на уровне хоста (oom_score и oom_score_adj) и на уровне CGroup, поясняет, почему так важно не допустить прихода киллера.

И дальше Джо Конвей переходит к специфическим проблемам OOM Killer в Kubernetes — это, видимо, и был главный повод для написания этой статьи. Оказывается, что там, в K8s, разрушительная деятельность киллера может начаться даже при относительно благополучном состоянии памяти. В K8s своп по умолчанию выключен. До этого момента автор не трогал тему свопа, которая, вообще-то, очень даже обсуждается среди постгресистов-практиков.

Джо ссылается на обстоятельную статью Криса Дауна (Chris Down) In defence of swap: common misconceptions, причём есть и русский перевод (не автопереводчиком): В защиту свопа: распространенные заблуждения. О Postgres там нет речи, но может заинтересовать и постгресистов.

Также ссылается он на статью The weird interactions of cgroups and linux page cache in hypervisor environments в блоге компании StorPool, где в команде в основном болгарские фамилии.

Далее Джо Конвей плавно переходит к разработкам и усилиям Crunchy Data в треугольнике PostgreSQL — Kubernetes — ядро Linux.

??
Акула жуёт гугловый кабель (The Guardian??)

Things I Wished More Developers Knew About Databases

Статья не (только) о Postgres. Иногда полезно ещё разок глянуть на разные СУБД с птичьего полёта. Вот внушительный список тем, о которых стоит помнить разработчикам приложений. В статье Джоанна Доган (Jaana Dogan) не поленилась их разворачивать и развивать. Иногда в неожиданную сторону: в пункте #1 мы, например, узнаём, что гугловские кабели давеча покусали акулы. Немало SQL-примеров, схем и есть матрица PostgreSQL vs. MySQL.

  • Если сеть доступна 99.999% времени, вам сильно повезло;
  • ACID понимают по-разному;
  • у каждой СУБД свои возможности поддержки согласованности и изоляции;
  • оптимистические блокировки могут помочь, когда удерживать эксклюзивные блокировки нет возможности;
  • есть аномалии кроме грязного чтения и потери данных;
  • моя СУБД, в каком порядке хочу исполнять транзакции, в таком и исполняю;
  • шардинг на уровне приложения не означает шардинг вне СУБД;
  • AUTOINCREMENT может преподнести неприятные сюрпризы;
  • устаревшие данные могут быть полезны и помогают обойтись без блокировок;
  • рассогласования из-за часов;
  • под задержками (latency) могут подразумевать разное;
  • надо оценивать производительность не по усредненным показателям, а по критическим операциям/транзакциям;
  • вложенные транзакции небезопасны;
  • транзакции не должны поддерживать состояния приложений;
  • планировщик поможет узнать многое о базе данных;
  • миграции без останова сложны, но возможны;
  • существенный рост базы данных увеличивает непредсказуемость.

Troubleshooting Performance Issues Due to Disk and RAM

Хамид Ахтар (Hamid Akhtar, HighGo, Китай) написал простенькую, но небесполезную памятку для тех, кто хочет быстро сузить круг подозреваемых при поиске проблем с железом. Начав с совсем очевидных top, free и df, он обращается к утилитам анализа производительности дисков, процессора и памяти, и предлагает полезные наборы их опций:
iostat (информация и о диске, и о процессоре), напр. iostat -dmx sda 1
sar (System Activity Report, часть пакета sysstat), напр. sar -f /var/log/sa/sa03 -b -s 02:00:00 -e 02:30:00 -r -S
dstat, напр. dstat -cdngy

А вот скриптик для анализа памяти:

#!/bin/bash grep -A3 "MemTotal" /proc/meminfo   grep "Swap" /proc/meminfo grep -A1 "Dirty\|Active" /proc/meminfo

.

Starting with Pg – where is the config?

Депеш (Хуберт Любашевски) в короткой заметке напоминает, как можно найти конфигурационные файлы, если они лежат в нестандартном месте. Способы, которыми он предлагает воспользоваться не сенсационны, но может быть полезен, скажем, удобный набор опций.
Например, так:
ps -fxao pid,command | grep -E 'post(gres|master)'
— на выходе будет path. И отсюда:
sudo grep -E '(hba|ident)\.conf' <путь к postgresql.conf>
Или теперь танцуем от pid:
sudo cat /proc/<подставляем pid>/environ | tr '\0' '\n' | grep ^PG | sort
Или:
sudo lsof -p <подставляем pid> -a -d cwd
— получаем каталог данных и сведения о нём.
Если такие советы не понадобились, можно порефлексировать на тему «я бы сделал по-другому». Скажем, просто-напросто используя find, например.

Агрегаты в БД

Кирилл Боровиков aka kilor завершил мини-серию статей про агрегаты:

Зачем, как, а стоит ли?

— как сделать отчеты быстрыми, способы их реализации и какие «грабли» встречаются на этом пути;

Эффективная обработка потока «фактов»

— как обработать БОЛЬШОЕ (капслок kilor-а) количество записей и при этом особо никого не заблокировать, включая «набегающий поток» данных. Например, это может быть пересчет остатков и ведение сводных продаж по товарам при их постоянных отгрузках, или агрегация сальдо и оборотов по бухгалтерским счетам, при массовых изменениях проводок.

Многомерные суперагрегаты

— иерархичные агрегаты в нескольких одновременных разрезах;

Прокси-таблицы

— как можно снизить суммарные задержки на вставку множества изменений в таблицы агрегатов за счет использования промежуточных таблиц и внешней обработки.

Облака

Babelfish: the Elephant in the Room?

Русский перевод названия этой статьи, появившейся на сайте фонда испаноговорящего сообщества FUNDACIÓN POSTGRESQL звучал бы так: "Вавилонская рыбка или слона-то я и не приметил?" Мы уже упоминали, что идея проекта сверхамбициозная: Bablefish это PostgreSQL, совместимый с SQL Server настолько, что приложения, под него написанные (в том числе с T-SQL и протоколом TDS), будут сразу работать, «не зная», что работают с PostgreSQL.

Автор статьи — Альваро Эрнандес (Álvaro Hernández Tortosa, OnGres) — начинает с рыночной конъюнктуры, чтобы дальше предъявить гамлетовский вопрос, которым авторы Вавилонской Рыбки должны были задаться: форкать или не форкать?

Babelfish пока не может работать как расширение без доработки ядра PostgreSQL. Альваро напоминает, что 25-го января заслуженный и авторитетный в сообществе человек — Ян Вик (Jan Wieck) — предложил обсудить расширяемость протокола PostgreSQL: сделать такие хуки, которые позволят реализовать протокол SQL Server в виде расширения без изменений в ядре. Но это процесс небыстрый. Заодно решили обсудить и совместимость с MySQL. Но что делать AWS с Bablefish, если сообщество проигнорирует этот путь или интеграция пойдёт ни шатко, ни валко? Вероятней всего, считает Альваро, AWS будет развивать Bablefish как форк (так уже случилось с Aurora), как бы им не хотелось бы обойтись без форка. А если всё же придётся, то AWS это по силам.

Далее Альваро привлекает Дилемму инноватора. И задаёт ещё один интересный вопрос: хотим ли мы (то есть сообщество), чтобы Babelfish стала “MariaDB у PostgreSQL”?

Персона

Очередной PG-персоной недели стал Александр Сосна, живущий в небольшом городке на Нижнем Рейне и в свободное от работы в credativ время преподающий ИТ-безопасность в Нижнерейнском Университете. Он работает над довольно необычным расширением: pg_snakeoil. Это антивирус специально для PostgreSQL: он ищет вирусы в данных так, чтобы не мешать работе базы, что отнюдь не характерно для обычных антивирусов. Как замечает Александр, за вирусами охотятся не всегда из-за их вредоносности, иногда только потому, что этого требуют нормативные документы.

Релизы

PostgreSQL 13.2

Вышли PostgreSQL 13.2, 12.6, 11.11, 10.16, 9.6.21, 9.5.25 (последний выпуск ветки 9.5). В этих релизах одолели две проблемы безопасности:
в PostgreSQL 13 можно было, имея права на SELCT одного столбца, получить при помощи изощрённого запроса все столбцы таблицы;
вторая проблема касалась версий 11, 12 и 13. Если у пользователя есть права на UPDATE партицированной таблицы, но нет прав на SELECT некоторого столбца, он мог получить данные столбца из сообщений об ошибке.
Кроме того исправлено более 80 багов.

pg_probackup 2.4.9

Появился флаг --force для инкрементального режима. Теперь можно переписывать содержимое в каталоге, указанном в PGDATA, если system-identifier в целевом экземпляре и копии НЕ совпадают (раньше приходило сообщение об ошибке).

pgAdmin 4 v. 5.0

В версии 5.0 среди прочего появилась поддержка логической репликации; поддержка публикаций и подписок в Schema Diff.

Apache AGE 0.3.0

Apache AGE — это расширение, добавляющее в PostgreSQL функциональность графовой базы данных. Цель проекта — единое хранилище для реляционной и графовой моделей данных, чтобы пользователи могли использовать и стандартный SQL, и языки запросов к графовым базам openCypher и GQL.

ссылка на оригинал статьи https://habr.com/ru/company/postgrespro/blog/542192/

FOSS News №58 – дайджест материалов о свободном и открытом ПО за 22-28 февраля 2021 года

Всем привет!

Продолжаем дайджесты новостей и других материалов о свободном и открытом ПО и немного о железе. Всё самое главное про пингвинов и не только, в России и мире. Red Hat Enterprise Linux стал бесплатен для организаций, развивающих открытое ПО; Google профинансирует работу по повышению безопасности ядра Linux; на что соглашается человек, когда разрешает все куки; подъём Linux Foundation; интервью с Райаном Далем, создателем Node.js: «Снижать сложность всегда полезно»; Bedrock Linux: лего-набор для создания идеального linux-дистрибутива; использование быстрых клавиш в командной строке Linux и многое другое.

Оглавление

  1. Главное
    1. Red Hat Enterprise Linux стал бесплатен для организаций, развивающих открытое ПО
    2. Google профинансирует работу по повышению безопасности ядра Linux
    3. На что соглашается человек, когда разрешает все куки
    4. Подъём Linux Foundation
    5. Интервью с Райаном Далем, создателем Node.js: «Снижать сложность всегда полезно»
    6. Bedrock Linux: лего-набор для создания идеального linux-дистрибутива
    7. Использование быстрых клавиш в командной строке Linux
  2. Короткой строкой
    1. Новости
      1. Мероприятия
      2. Внедрения
      3. Открытие кода и данных
      4. Внутренние дела организаций
      5. Юридические вопросы
      6. Ядро и дистрибутивы
      7. Обучение
      8. Базы данных
      9. Мобильные
      10. Безопасность
      11. Web
      12. Для разработчиков
      13. Пользовательское
      14. Железо
      15. Разное
    2. Статьи
      1. DIY
      2. Ядро и дистрибутивы
      3. Специальное
      4. Мобильные
      5. Безопасность
      6. DevOps
      7. AI & Data Science
      8. Web
      9. Для разработчиков
      10. История
      11. Пользовательское
      12. Разное
    3. Релизы
      1. Ядро и дистрибутивы
      2. Системное
      3. Специальное
      4. Мультимедиа
      5. Безопасность
      6. DevOps
      7. Web
      8. Для разработчиков
      9. Пользовательское
      10. Игры
  3. Что ещё посмотреть
  4. Заключение

Главное

Red Hat Enterprise Linux стал бесплатен для организаций, развивающих открытое ПО

Категория: Новости/Ядро и дистрибутивы

OpenNET пишет: «Компания Red Hat продолжила расширение программ по бесплатному использованию Red Hat Enterprise Linux, закрывающих потребности пользователей в традиционном CentOS, возникшие после трансформации проекта CentOS в CentOS Stream. В дополнение к ранее предоставленным бесплатным сборкам для рабочих внедрений (production), насчитывающих до 16 систем, предложена новая опция «Red Hat Enterprise Linux (RHEL) for Open Source Infrastructure», которая позволяет без ограничений бесплатно использовать RHEL в инфраструктуре сообществ разработчиков открытых проектов и организаций, поддерживающих разработку открытого ПО. В частности, новая программа охватывает организации и проекты, вовлечённые в разработку и хостинг программного обеспечения, распространяемого под открытыми лицензиями, одобренными для включения в репозитории Fedora Linux. Бесплатное применение RHEL в подобных организациях разрешено в элементах инфраструктуры, таких как сборочные системы, системы непрерывной интеграции, почтовые и web-серверы. Участникам программы дополнительно предоставляется доступ к порталу Red Hat с документацией, базе знаний, форумам и системе аналитики Red Hat Insights. Формально сервис поддержки не охватывает участников «RHEL for Open Source Infrastructure», но в зависимости от важности проекта компания Red Hat не исключает возможность предоставления бесплатной технической поддержки».

Подробности [→ 1, 2, 3 (en)]

Google профинансирует работу по повышению безопасности ядра Linux

Категория: Новости/Внутренние дела организаций

OpenNET пишет: «Организация Linux Foundation объявила о предоставлении компанией Google финансирования работы по сопровождению механизмов защиты в ядре Linux и усилению безопасности ядра. В режиме полного рабочего дня будут трудоустроены Густаво Сильва (Gustavo Silva) и Натан Ченслор (Nathan Chancellor). Натан известен своей работой по обеспечению сборки ядра Linux с использованием компилятора Clang и задействованию при сборке механизмов защиты на этапе компиляции, таких как CFI (Control Flow Integrity). … Густаво является одним из активных участников проекта KSPP (Kernel Self Protection Project) по продвижению в ядро Linux технологий активной защиты. … ».

Подробности [→ 1, 2 (en), 3 (en), 4 (en), 5 (en), 6 (en), 7 (en)]

На что соглашается человек, когда разрешает все куки

Категория: Статьи/Юридические вопросы

Компания GlobalSign пишет в своём блоге на Хабре: «Люди не читают инструкций. Вы почти наверняка не читали лицензионное соглашение Windows, не читали лицензионное соглашение iTunes, не читали условия Linux GPL или любого другого программного обеспечения. Это нормально. Такова наша природа. То же самое происходит в интернете. В последнее время благодаря GDPR и другим законам часто приходится видеть всплывающие сообщения, где вас спрашивают разрешения на использование cookies. Большинство нажимает «Согласиться» — и продолжает жить как ни в чём ни бывало. Никто ведь не читает политику конфиденциальности, верно? Разработчик Конрад Акунга (Conrad Akunga) решил разобраться, какие конкретно условия предусмотрены соглашением об использовании. Для примера он взял новостной сайт Reuters».

Подробности [→]

Подъём Linux Foundation

Категория: Статьи/Внутренние дела организаций

Сегодня почти все в IT сфере знают про Linux, меньше — про Linux Foundation, ещё меньше — про положение дел у этого фонда и его историю. Кратко, но тем не менее, Analytics India Magazine закрывает этот пробел и рассказывает об организации, ведущей более 100 проектов в целом ряде областей и создавшей код и другие продукты общей ценностью 54 миллиарда долларов.

Подробности [→ (en)]

Интервью с Райаном Далем, создателем Node.js: «Снижать сложность всегда полезно»

Категория: Статьи/Для разработчиков

Компания Evrone взяла интервью у основателя и первого разработчика Node.js и Deno Райана Даля: «Нам предоставилась возможность поговорить с Райаном о его проектах. Он рассказал об основных задачах по развитию Deno, поделился мнением о будущем JavaScript и TypeScript, поведал о сторонних проектах экосистемы Deno и о том, как бы он изменил свой подход к Node.js, если бы мог путешествовать во времени».

Подробности [→]

Bedrock Linux: лего-набор для создания идеального linux-дистрибутива

Категория: Статьи/Ядро и дистрибутивы

Компания RUVDS пишет в своём блоге на Хабре: «С момента появления Linux достаточно скоро возникло множество дистрибутивов: Slack, RedHat, Debian, SUSE и т. д. Тогда же возникла и проблема выбора дистрибутива, ведь каждый из них имеет свои особенности и преимущества, которые делают его особенным. RedHat и Debian наиболее стабильные и консервативные из дистрибутивов, Ubuntu заточен на удобство и имеет прекрасный пользовательский интерфейс, Gentoo — свобода выбора и гибкость. У каждого пользователя Linux были моменты, когда ему не хватало некоторых функций, реализованных в других дистрибутивах. … Создатели Bedrock Linux пошли дальше и создали полноценный мета-дистрибутив. В нем возможно использование не только пакетов, но и компонент различных Linux дистрибутивов, как кубиков Лего. В одном окружении можно создать систему из нескольких Linux OS, например установку дополнительных пакетов Ubuntu поверх базовых компонент Debian и Arch».

Подробности [→]

Использование быстрых клавиш в командной строке Linux

Категория: Статьи/Пользовательское

ГК ЛАНИТ разместила в своём блоге на Хабре статью, посвященную наиболее часто используемым комбинациям клавиш при работе в командной строке Linux (в основном в командном интерпретаторе bash). По словам автора, статья точно будет полезна начинающим своё знакомство с Linux и пригодится тем, кто уже имеет опыт. Прерывание выполнения команды, окончание ввода файла, отправка процесса в фон, очистка экрана, поиск по истории, автодополнение различных видов – вот некоторые примеры описанных сочетаний клавиш.

Подробности [→]

Короткой строкой

Новости

Мероприятия

  1. Вебинар «Ошибки PRO-уровня при внедрении Kubernetes» [→]
  2. Linux Foundation, LF Networking и LF Edge объявляют список спикеров на форуме руководителей Open Networking & Edge, 10-12 марта [→ (en)]
  3. Bебинар — Автоматизация процессов с GitLab CI/CD [→]
  4. Akademy 2021 пройдёт онлайн с 18 по 25 июня [→]
  5. Linux App Summit 2021 состоится в виртуальном формате с 13 по 15 мая [→]

Внедрения

Агентство NASA использовало Linux и открытое ПО в марсолёте Ingenuity [→ 1, 2]

Открытие кода и данных

  1. Программа для организации потокового вещания msd открыта под лицензией BSD [→]
  2. Инструмент для 3D печати CEL Automaker выпущен под открытой лицензией [→ (en)]
  3. Microsoft открыла код инструмента для поиска следов Solarigate [→ (en)]

Внутренние дела организаций

  1. Программное обеспечение Red Hat теперь доступно на IBM Power Systems [→ 1 (en), 2 (en)]
  2. Red Hat завершает приобретение системы безопасности Kubernetes StackRox [→ 1 (en), 2 (en)]
  3. Linux Foundation объявляет о создании DizmeID Foundation для разработки и включения сети учетных данных SSI («Self-sovereign Identity») [→ (en)]
  4. Google начала спонсировать двух разработчиков ядра Linux [→]
  5. Проект Debian запустил сервис для динамического получения отладочной информации [→]
  6. GitHub опубликовал отчёт о блокировках в 2020 году [→ 1, 2]
  7. Canonical повысит качество промежуточных LTS-выпусков Ubuntu [→]
  8. Компания Mozilla опровергла ложную информацию об удалении лисы с логотипа Firefox [→ 1, 2]
  9. Еженедельник OSM 552 [→]
  10. Компания Slimbook стала спонсором KDE [→]

Юридические вопросы

  1. Репозиторий проекта RE3 заблокирован на GitHub [→]
  2. 4 новых Open Source лицензии licenses [→ (en)]

Ядро и дистрибутивы

В OpenBSD добавлена начальная поддержка чипа Apple M1 [→ 1, 2]

Обучение

  1. Доступны бесплатные уроки видеокурса по Apache Kafka [→]
  2. Яндекс.Практикум запустил курс «React-разработчик» [→]

Базы данных

Google Cloud расширяет партнерство с MongoDB, чтобы помочь клиентам ускорить модернизацию приложений [→ (en)]

Мобильные

  1. Российский разработчик написал клиент Clubhouse для Android после реверс-инжиниринга API [→ 1, 2]
  2. Первая предварительная версия Android 12 включает новые инструменты для улучшения взаимодействия с пользователем [→ (en)]
  3. Новости Android разработки 23.02.2021 [→]
  4. Последнее обновление Android позволит вам планировать отправку сообщений, улучшить защиту паролей и многое другое [→ 1 (en), 2 (en)]

Безопасность

  1. Telegram в Windows 10 получает серьезное улучшение безопасности [→ (en)]
  2. Обновление Python исправляет несколько серьезных проблем безопасности [→ (en)]
  3. Уязвимости во FreeBSD, позволяющие обойти ограничения jail-окружений [→]
  4. GitHub CSO обещает больше инструментов безопасности и функций для разработчиков [→ (en)]

Web

  1. Chrome скоро может унаследовать один из лучших инструментов от Google Reader [→ (en)]
  2. Браузер Brave скоро поможет вам покупать криптовалюту по самой выгодной цене [→ (en)]
  3. Разработчики Firefox закрыли тикет 17-летней давности [→]
  4. В Chrome экспериментируют с открытием сайтов по умолчанию через HTTPS [→]

Для разработчиков

  1. Языку Python исполнилось 30 лет [→]
  2. GitHub документировал механизм блокировки всей сети форков [→]

Пользовательское

Разработчики Linux Mint обращаются к пользователям: прекратите использовать устаревшие версии, обновите программное обеспечение сейчас [→ (en)]

Железо

Запуск клавиатуры с открытым исходным кодом; System76 опубликовала свои файлы дизайна [→ (en)]

Разное

  1. Коммерческую систему компьютерных шахмат Fat Fritz 2 уличили в плагиате движка open source [→]
  2. Обратная сторона Open Source-славы: как угрожают автору curl [→]

Статьи

DIY

Приглашаю к созданию русской народной игры «Колобок» [→]

Ядро и дистрибутивы

  1. Как мы раскрыли 24-летний баг в ядре Linux [→]
  2. Знакомство с KaOS Linux — независимым дистрибутивом KDE Plasma Desktop [→ (en)]

Специальное

  1. Об использовании Wine для запуска Windows приложений в Linux [→ (en)]
  2. ESPlot: программное обеспечение с открытым исходным кодом для построения высокочастотных данных в реальном времени для встраиваемых систем [→ (en)]
  3. Лучшие аналоги Visio для Linux [→]
  4. MyCompany — открытая платформа для автоматизации бизнес-процессов малых предприятий [→]
  5. Почему Linux так важен для Edge вычислений [→ (en)]
  6. Руководство по Pastas, среде Python для анализа гидрогеологических временных рядов [→ (en)]
  7. О том как встретились 3D-печать с открытым исходным кодом и гонки на симуляторах [→ (en)]

Мобильные

Мануал по настройке стандартного эквалайзера Android для самых маленьких (и не только) [→]

Безопасность

Поддержка токенов PKCS#11 с ГОСТ-криптографией в Python [→]

DevOps

  1. Создание пайплайнов CI с помощью Tekton (внутри Kubernetes). Часть 1/2 [→]
  2. Создание пайплайнов CI с помощью Tekton (внутри Kubernetes). Часть 2/2 [→]
  3. Продолжаем прокачивать Ansible [→]
  4. Пошаговое руководство по событиям в Knative [→ (en)]
  5. KubeEdge: надежное соединение между облаком и Edge [→ (en)]
  6. AD + Freeradius + Google Autheticator. Установка с нуля для Cisco Anyconnect и не только [→]
  7. Почему язык Go стал стандартом для DevOps-инженеров [→]
  8. Kubernetes — это как океанариум [→]
  9. О том как стать мейнтейнером Kubernetes тратя 4 часа в неделю [→ (en)]
  10. Argo CD: готов к труду и обороне в Kubernetes [→]

AI & Data Science

  1. Руководство по Pyro – глубоко вероятностному языку программирования [→ (en)]
  2. Google представляет Model Search, платформу с открытым исходным кодом для автоматического поиска оптимальных моделей машинного обучения [→ (en)]
  3. Практическое руководство по Model Search: платформа на основе Tensorflow для AutoML [→ (en)]
  4. 10 лучших библиотек оптимизации гиперпараметров с открытым исходным кодом для моделей машинного обучения [→ (en)]
  5. Программируемые NER компоненты [→]
  6. Руководство по MBIRL – модели обучения с обратным подкреплением [→ (en)]

Web

  1. Как запустить сервер разработки для веб-приложений Flask с помощью Google Colab [→ (en)]
  2. Альтернатива электронной почте для 21 века [→]
  3. Как устроена фильтрация спама в Zimbra [→]
  4. Что вам нужно знать, если вы поменяете nginx на envoy: впечатления спустя два года [→]

Для разработчиков

  1. Обзор последних изменений в rotor’е (v0.10… v0.14) [→]
  2. Путешествие в unmanaged code: туда и обратно [→]
  3. Часто встречающиеся ошибки разработки сетевого взаимодействия [→]
  4. Состояние разработки программного обеспечения Java в 2021 году [→ (en)]
  5. Руководство по виртуальным средам Python с virtualenvwrapper [→ (en)]
  6. Спецификация D-Bus. Часть 2, заключительная [→]
  7. Free Heroes of might and magic 2 – open-source проект, в котором хочется участвовать [→]
  8. 6 лучших библиотек визуализации данных в Golang [→ (en)]
  9. 5 причин, по которым я люблю программировать в Linux [→]
  10. Как установить последнюю версию Erlang в Ubuntu Linux [→ (en)]
  11. Учим HostBinding работать с Observable [→]

История

Заметки о Unix: история Unix до readline [→]

Пользовательское

  1. Linux, suspend to RAM и ИБП [→]
  2. 5 преимуществ выбора Linux [→ (en)]
  3. Проверьте использование вашего диска с помощью терминала duf [удобная альтернатива командам du и df] [→ (en)]
  4. Что делает сообщество Linux особенным? [→ (en)]
  5. Об установлении пути в FreeDOS [→ (en)]
  6. О навигации в FreeDOS [→ (en)]
  7. Как удалить snap пакет [→]
  8. Об использовании команды anacron в Linux [→ (en)]
  9. Создание deb пакетов [→]
  10. 3 Linux терминала, которые стоит попробовать [→ (en)]

Разное

  1. Обнаружена пасхалка в GNOME [→]
  2. О копипасте про GNU и Linux [→ (en)]
  3. О построении своих технологий на основе [→ (en)]

Релизы

Ядро и дистрибутивы

  1. Доступны новые установочные сборки Void Linux [→]
  2. Релиз дистрибутива для исследования безопасности Kali Linux 2021.1 [→ 1, 2, 3 (en)]
  3. Выпуск дистрибутива Mageia 8, форка Mandriva Linux [→ 1, 2]

Системное

  1. Выпуск пакетного менеджера APT 2.2 [→]
  2. Выпуск системы инициализации sysvinit 2.99 [→]
  3. Выпуск глобальной децентрализованной файловой системы IPFS 0.8 [→]
  4. Релиз распределенного реплицируемого блочного устройства DRBD 9.1.0 [→]

Специальное

  1. Новая версия Wine Launcher 1.4.46 — инструмента для запуска Windows игр через Wine [→]
  2. Релиз платформы OroPlatform 4.2.1 LTS, а также приложений OroCommerce и OroCRM [→]
  3. Релиз FreeRDP 2.3, свободной реализации протокола RDP [→]
  4. Выпуск Wine 6.3 [→]

Мультимедиа

  1. Релиз открытого медиацентра Kodi 19.0 [→]
  2. Релиз MPD-клиента Ymuse 0.17 [→]

Безопасность

Выпуск passwdqc 2.0.0 с поддержкой внешних фильтров [→ 1, 2]

DevOps

Red Hat открывает путь как для виртуальных машин, так и для контейнеров в своем последнем выпуске OpenShift 4.7 [→ 1 (en), 2 (en), 3 (en)]

Web

  1. Выпуск платформы для организации совместной работы Nextcloud Hub 21 [→ 1, 2 (en)]
  2. Релиз Firefox 86 [→ 1, 2, 3, 4, 5 (en), 6 (en), 7 (en)]
  3. Выпуск Tor Browser 10.0.12 и дистрибутив Tails 4.16 [→]
  4. Проект Tor опубликовал приложение для обмена файлами OnionShare 2.3 [→]
  5. Выпуск NeoChat 1.1 [→]

Для разработчиков

  1. Релиз языка nim 1.4.4 [→]
  2. Вышел релиз GitLab 13.8 с редактором конвейеров и первой из метрик DORA [→]
  3. Granulate запускает платформу с открытым исходным кодом G-Profiler [→ (en)]

Пользовательское

  1. Корректирующий релиз GNOME 3.38.4 [→]
  2. Релиз сетевого конфигуратора NetworkManager 1.30.0 [→ 1, 2]
  3. Драйверы HPLIP 3.21.2 с поддержкой новых принтеров. Поддержка Fedora 33, Manjaro 20.2… [→]
  4. Опубликован корректирующий выпуск Plasma 5.21.1 [→]

Игры

Доступна двадцать четвёртая альфа-версия открытой игры 0 A.D. [→ 1, 2, 3]

Что ещё посмотреть

  1. Дайджест от Red Hat: поваренная книга Quarkus Cookbook, бесплатный Developer Sandbox for OpenShift и руководство CentOS Project [→]
  2. Open Source проект недели по версии SD Times: PennyLane [→ (en)]

Заключение

На этом всё, до следующего воскресенья!

Высказываю большое спасибо редакции и авторам OpenNET [→], много новостных материалов и сообщений о новых релизах взято у них.

Если кто интересуется составлением дайджестов и имеет время и возможность помочь — буду рад, пишите по контактам, указанным в моём профиле, или в личные сообщения.

Подписывайтесь на наш Telegram канал, группу ВКонтакте или RSS чтобы не пропустить новые выпуски FOSS News.

[←] Предыдущий выпуск

ссылка на оригинал статьи https://habr.com/ru/post/544654/

Подавление спутниковой навигации на Кремлевской набережной незаконно

Чтобы не пытаться вместить этот довольно длинный текст в комментарий, я создал отдельную статью. Заранее прошу прощения у юристов, я сам технарь, но легкомысленные комментарии к моей статье «Серебряная пуля для кремлевского демона» вынудили меня заняться не своим делом и полезть в законы. Я прошу провести экспертизу моих юридических изысканий.

Я делаю это из желания сохранения своего личного времени. Нет больше сил моих отвечать на бесконечные комментарии комментаторов. Нужно работать. Это последнее слово, которое я готов сказать на тему законности подавления спутниковой навигации на Кремлевской набережной в Москве. Теперь я буду только слушать, независимо от того, прав я или нет.

Я нашел Федеральный закон от 14 февраля 2009 г. N 22-ФЗ «О навигационной деятельности». Вы все без труда найдете ссылку на его текст. Приведу здесь некоторый выдержки.

Статья 1. Сфера действия настоящего Федерального закона

  1. Настоящий Федеральный закон устанавливает правовые основы осуществления навигационной деятельности и направлен на создание условий для удовлетворения потребностей в средствах навигации и услугах в сфере навигационной деятельности.
  2. Действие настоящего Федерального закона распространяется на отношения, возникающие в связи с осуществлением навигационной деятельности и оказанием услуг в сфере навигационной деятельности, включая создание государственных навигационных карт и навигационных карт для автомобильных дорог, в том числе в целях обеспечения обороны и безопасности Российской Федерации.


Осмысление первой статьи показывает, что сферой ее является, в том числе, навигация на моем смартфоне или автомобильном навигаторе.

Определения пропускаем, сами откроете и прочитаете. Но чего мы там не знаем? Все понятно, далее.

Статья 3. Субъекты правовых отношений в сфере навигационной деятельности

Субъектами правовых отношений в сфере навигационной деятельности являются органы государственной власти, органы местного самоуправления, физические и юридические лица, обеспечивающие создание и функционирование средств навигации и объектов навигационной деятельности, а также физические и юридические лица, оказывающие и получающие услуги в сфере навигационной деятельности в соответствии с гражданским законодательством.

Статья три показывает, что я, как физическое лицо, да и вы все, являетесь субъектами правовых отношений в сфере навигационной деятельности.

Статьи с четвертой по седьмую можете прочитать, но к нашему разговору они, по моему мнению, не относятся.

Статьи восемь и девять для нас самые главные.

Статья 8. Участие физических и юридических лиц в навигационной деятельности

Физические и юридические лица могут осуществлять навигационную деятельность для собственных нужд и оказание услуг в сфере навигационной деятельности на всей территории Российской Федерации без ограничения точности определения координат объектов навигационной деятельности, за исключением территорий и объектов, для которых законодательством Российской Федерации установлен особый режим безопасного функционирования и перечень которых утверждается Правительством Российской Федерации.

Статья 9. Условия предоставления навигационных сигналов с открытым доступом

Навигационные сигналы с открытым доступом предоставляются субъектам правовых отношений в сфере навигационной деятельности на безвозмездной основе и без ограничений.

Ну что тут сказать, все ясно. Если место не попадает в перечень, то закон запрещает не только ограничивать мне навигацию, но и даже просто ухудшать ее точность.

Указанный выше перечень утвержден Постановлением Правительства РФ от 5 июля 2001 г. N 508 «Об утверждении перечня закрытых административно-территориальных образований и расположенных на их территориях населенных пунктов». С изменениями и дополнениями от:
16 апреля 2007 г., 16 июля 2009 г., 16 апреля 2015 г., 18 августа, 23 декабря 2016 г., 14 февраля, 19 апреля 2017 г., 18 апреля, 29 августа 2019 г., 16 февраля 2021 г. указанный перечень содержит:

image
image
image

Москвы в перечне нет. Прошу специалистов указать мне на ошибки в этой моей юридической инсинуации.

Весь материал я подготовил сам, ни один юрист не пострадал. Заранее спасибо!

ссылка на оригинал статьи https://habr.com/ru/post/544658/

Что происходит на Марсе и при чем здесь облака

…По статистике, 100% населения Марса — роботы.

В последние дни только ленивый не смотрел репортажи о марсоходе Perseverance (Персеверанс, ударение на последнюю «е»). В интернете можно даже послушать ветер красной планеты, он едва пробивается сквозь зуммер механических сочленений марсохода.

Сегодня мы немного сменим акценты и поговорим о вещах более приземленных. Какие технологии обеспечивают работу марсохода? Как задействованы в изучении космоса облачные компании? И в целом — каковы планы человечества на марсианские земли в рамках амбициозной миссии.

Облачные вычисления помогают марсоходу не сбиваться с пути

Не так давно Amazon Web Services (AWS) рассказала, какую роль облачные вычисления играют в обработке данных, поступающих с Perseverance.

В течение всей миссии NASA собирается хранить и обрабатывать массивы информации, поступающей с Марса, в облаке AWS. На минуточку, каждый день марсоход присылает рекордное количество фотографий, аудио- и видеозаписи. 

Представитель AWS Хайме Бейкер вручает царь-билет на мыс Канаверал победителю конкурса Name the Mars Rover 2020 Алексу Мэзеру и его семье. Фото: (НАСА / Обри Джеминьяни)
Представитель AWS Хайме Бейкер вручает царь-билет на мыс Канаверал победителю конкурса Name the Mars Rover 2020 Алексу Мэзеру и его семье. Фото: (НАСА / Обри Джеминьяни)

Напомним, в течение 2020 года в США проводился конкурс на самое удачное имя для новой марсианской миссии.

Изучить фотографии, сделанные аппаратом, можно на официальном сайте NASA.

В частности, в облаке AWS обрабатываются данные о перемещении Perseverance и том, как он справляется с рельефом. А все фотографии, поступающие с Марса, в необработанном виде отправляются в облако AWS и становятся доступны пользователям по всему миру. Благодаря облачным технологиям NASA удалось всего за несколько часов транслировать 150 ТБ медиаданных и справиться с обработкой до 80 000 запросов в секунду. Впечатляющие цифры, которые совершенно невозможно представить в рамках классической инфраструктуры.

Но трансляцией фотографий дело не ограничивается. Облачные мощности задействованы и для продвинутой системы поиска пути. За прошедшие дни Perseverance смог передать на землю информацию более чем о 200 миллионах точек поверхности Марса. По заявлению NASA, эти данные помогут скорректировать пути перемещения будущих марсоходов и увеличат их скорость на 40%. 

Кадр из сериала «Теория большого взрыва». Воловиц загнал марсоход в канаву.
Кадр из сериала «Теория большого взрыва». Воловиц загнал марсоход в канаву.

«Чтобы управлять движением марсохода, [инженерам] необходимо видеть его глазами. Соответственно, отправлять пакеты с новыми инструкциями и получать обратную связь нужно как можно быстрее. Чем больший путь сможет пройти марсоход и чем больше образцов получится добыть, тем успешнее окажется миссия» — говорят эксперты AWS. В некотором смысле современный марсоход походит на смартфон на колесиках. 

Приблизительная программа миссии. Информация с сайта NASA.
Приблизительная программа миссии. Информация с сайта NASA.

После благополучной посадки 18 февраля марсоход пробудет на планете как минимум один марсианский год (порядка 687 земных дней). 

В его задачи входит:

  • обнаружить горные породы, которые сформировались под влиянием окружающей среды, способной в далеком прошлом поддерживать микробную жизнь; 

  • собрать образцы грунта и камней, в которых могли сохраниться химические следы (биосигнатуры) древних живых организмов, если они вообще существовали; 

  • высверлить пробы в 30 перспективных точках планеты и законсервировать их на поверхности для дальнейшего изучения; 

  • протестировать гипотезу о возможности производства кислорода из углекислого газа, который содержится в атмосфере (для будущих человеческих колоний).

Здесь вы сможете посмотреть разнообразные видеоматериалы о миссии.

Микрофоны на Марсе

В задачи миссии Mars 2020 входит, среди прочего, и изучение геологических особенностей планеты. Для этого Perseverance снабжен массой щупов и датчиков, которые позволяют не только собрать образцы грунта, но и произвести их базовый анализ прямо на месте.

Но зачем на Марсоход повесили микрофон? Вряд ли ученым удастся подслушать разговоры «зеленых человечков» — речь идет о поиске следов микроорганизмов. AWS объясняет это так:

«Различные датчики марсохода собирают массу научных данных: состав атмосферы, скорость ветра и погода на Марсе. Микрофоны же записывают звуки планеты. Предполагается, что NASA обработает медиатеку, собранную Perseverance, и выложит её в открытый доступ. Это даст простым пользователям подключиться к изучению Марса наравне с учеными».

Выше — местоположение марсохода на момент публикации статьи. Интерактивная карта доступна на сайте NASA.

Послушать аудиозаписи, сделанные во время миссии, можно здесь.

Для хранения полученных с Марса данных используются облачные хранилища. Но, разумеется, это не единственная технология, которая поддерживает космическую миссию. 

Космические вертолеты

Чуть выше мы сравнили медиа-возможности марсохода с функционалом смартфона. Разумеется, на практике все гораздо сложнее. Perseverance — это сложная научная лаборатория весом в целую тонну. Кроме того, у марсохода есть крошечный (менее 2 кг) летающий дрон-компаньон Ingenuity.

Крошка-вертолет на базе открытого ПО и компонентов, находящихся в свободной продаже
Крошка-вертолет на базе открытого ПО и компонентов, находящихся в свободной продаже

Если всё пойдет по плану, Ingenuity станет первым вертолетом на Марсе. Но важно понимать: расстояние от Земли до Марса составляет 11 световых минут. Это очень много. Если марсоход еще может делать перерывы, чтобы дождаться новых управляющих команд, у летающего аппарата такой возможности нет. Добавьте сюда еще и более разреженную, чем на Земле, атмосферу, и пониженную гравитацию, и «летательная» миссия покажется и вовсе невыполнимой.

Строго говоря, особых надежд на Ingenuity ученые не возлагают. Это, скорее, демонстрация технологии, чем полезный инструмент. Если дрон разобьется, основная миссия продолжится в штатном режиме.

Ingenuity в реальном размере
Ingenuity в реальном размере

Поскольку управлять Ingenuity вручную невозможно, инженеры NASA разработали для него специальную программу на базе Linux и своего «фирменного» фреймворка F´ (F prime). Главная задача проекта — доказать, что комбинация современного «стокового» железа и программного обеспечения с открытым кодом может поднять летательный аппарат над поверхностью Марса.

Под капотом у дрона четырехъядерный ARM-процессор Qualcomm Snapdragon 801 на частоте 2,2 ГГц. К слову, это более мощный процессор, чем тот, что установлен на самом марсоходе. NASA важна в первую очередь не производительность, а стабильность: чипы, используемые в космических миссиях, должны соответствовать стандарту High-Performance Spaceflight Computing (HPSC). Разработка таких процессоров и их доскональное тестирование занимают годы. Так как подпроект Ingenuity менее важен, чем Perseverance, ученые решились использовать в нем стандартный «земной» CPU.

Подробнее о вертолете на сайте NASA.

Теперь коснемся ПО: непосредственно пилотирующая программа работает на частоте 500 герц. Именно «герц», а не «мегагерц». По словам инженеров, такой частоты опроса датчиков будет вполне достаточно, чтобы вертолет мог стабильно держаться в… назовем это «воздухом».

В качестве ОС специалисты остановились на Linux. Здесь ничего удивительного: уже много лет космическое агентство использует в своих проектах модифицированные версии этой ОС. Так, на базе Linux работают компьютеры NASA на МКС.

Что касается фреймворка — любой энтузиаст может бесплатно скачать и использовать его в домашнем проекте. Притом без необходимости закупать дорогое и редкое железо — всё заточено под стандартные off-the-shelf компоненты.

F´ включает:

  • Архитектуру, разделяющую ПО для полетов на отдельные компоненты с четко определенными интерфейсами.

  • Базовый фреймворк C++ с поддержкой основных возможностей, таких как очереди сообщений и потоки.

  • Инструменты для определения компонентов и связей.

  • Постоянно развивающийся набор готовых к использованию компонентов.

  • Инструменты для тестирования летного программного обеспечения.

Взлетит или не взлетит — покажет время. Важен сам факт: инженеры и программисты NASA готовы делиться частью своих наработок с любителями электроники по всему миру. Так что, если вы полны желания собрать собственный марсолет — всё необходимое уже есть под рукой. Останется только построить ракету, которая отнесет его к Марсу (или договориться со спецом по полезной нагрузке). 🙂

В заключение приведем несколько интересных ссылок от NASA и информационных агентств

ссылка на оригинал статьи https://habr.com/ru/company/it-grad/blog/544660/

Музыканты и лейблы недовольны крупнейшим видеохостингом, но продолжают им пользоваться

YouTube вновь отбивается от критики. В этот раз акцент сместился с качества рекомендаций на взаимодействие с музыкантами. Последние недовольны размером компенсаций за стримы, жалуются на монополизацию индустрии и критикуют все крупные платформы. Те, в свою очередь, перекладывают вину на YouTube и вместе с лейблами — не торопятся что-либо менять.

Фотография: Leon Bublitz. Источник: Unsplash.com
Фотография: Leon Bublitz. Источник: Unsplash.com

Денег нет

Авторы и исполнители музыкальных произведений все чаще делятся личным опытом заработка и критикуют площадки за незначительные выплаты. В случае с The Flashbulb они составили 24 тысячи долларов за 7 млн прослушиваний. Это — $0,003 за стрим на Spotify, причем большая часть суммы в итоге ушла на оборудование и запись партий с помощью сторонних музыкантов. Сопоставимые данные об этой площадке — $0,0035-0,004 за прослушивание — привел и RAC, лауреат премии «Грэмми». Для сравнения девяти платформ ему хватило одного твита.

Как показывает пример этого музыканта, компенсация за миллион стримов на YouTube превышает поступления от Pandora и SoundCloud. Однако представители Британской ассоциации производителей фонограмм считают, что именно крупнейший видеохостинг сдерживает рост выплат музыкантам. По их мнению, Spotify платит «в десять раз больше», а YouTube — еще и «способствует распространению бесплатного контента» и мешает другим стриминговым сервисам повышать стоимость ежемесячных платежей для слушателей, а значит и распределять более существенные суммы между авторами треков. Вот что говорит эксперт: «Стоимость подписки на музыкальные сервисы не меняется уже практически десять лет, а пока идет время — инфляция делает свое дело. Еще на рынке присутствуют площадки вроде YouTube, где пользователи практически ничего и не платят, по сравнению с аудиторией Spotify».

Стоит заметить, что прямые нападки поддержали конкуренты этой платформы — например, Елена Сегал, глобальный директор паблишинга в Apple Music. Она заявила, что «бороться за слушателя с бесплатными альтернативами весьма затруднительно».

Что в ответ

Общение с представителями платформ и профильных ассоциаций инициировал парламентский Комитет по вопросам цифровой среды, культуры, медиа и спорта [Digital Culture, Media and Sport Committee, DCMS] Соединенного Королевства. В рамках очередных слушаний — менеджмент крупнейшего видеохостинга мира отверг обвинения в рекордно низком уровне выплат музыкантам по сравнению с компенсацией, которую предоставляют другие стриминговые платформы. Однако все-таки признал, что порядок расчетов стоит сделать прозрачнее.

Вместе с этим директор YouTube по связям с госструктурами напомнила парламентариям и экспертам из индустрии о том, что данная площадка предоставляет инструменты для борьбы с пиратством и обратила внимание на несправедливый подход к распределению доходов между авторами и музыкальными лейблами. К сожалению, последним Комиссия так и не задала вопрос о том, почему они продолжают пользоваться видеохостингом и публикуют треки на платформе, которая может негативным образом влиять на их доходы и выплаты музыкантам.

Фотография: lucas Favre. Источник: Unsplash.com
Фотография: lucas Favre. Источник: Unsplash.com

Вероятнее всего, дело исключительно в экономическом интересе. Даже с учетом того, что кто-то пиратит стримы, выкладывает чужую музыку в открытый доступ и обходит систему трекинга Content ID за счет многочисленных ухищрений, YouTube уже выплачивает правообладателям огромные суммы. Только за 2020-й сервис перевел в счет авторов и лейблов около 12 млрд долларов, а к 2025-му его руководство планирует стать лидером по этому показателю среди всех игроков музыкальной индустрии, включая конкурентов по стримингу музыки.

Как это понимать

Стоит признать, что мало кто откажется от возможности моментального стриминга практически любой из существующих музыкальных композиций и захочет вернуться к покупке дисков [хотя в этом есть свои преимущества]. Платить по доллару за трек или по центу за стрим — вариант, на который тоже готовы пойти далеко не все. Вариативная стоимость стриминга альбомов? Тогда о плейлистах можно будет просто забыть. Кажется, готовых предложений, которые могли бы положительным образом повлиять на выплаты музыкантам и устроить как лейблы, так и онлайн-платформы, пока не существует. Поэтому нам еще предстоит узнать, какими они будут.


Что еще почитать у нас в «Мире Hi-Fi»:


ссылка на оригинал статьи https://habr.com/ru/company/audiomania/blog/544576/