
Соревнование пройдет с 7 февраля по 2 апреля на платформе ods.ai. В этом году оно посвящено организации атак и защиты моделей машинного обучения и проводится в новом турнирном формате как серия из двух тесно связанных друг с другом задач.
Задача 1: Атака
Участникам необходимо построить алгоритм, способный наиболее эффективно искажать предсказания предоставленной модели машинного обучения. Атака имеет ряд ограничений: можно менять не более 10 транзакций из 300, подаваемых модели на вход; у транзакций можно менять только их сумму и/или MCC код; суммы в измененных транзакциях должны укладываться в заранее известные ограничения.
Формат решений: размеченный тестовый файл.
Метрика соревнования: ROC-AUC Diff.
Призовой фонд: 1 млн рублей.
Задача 2: Защита
Предполагает построение наиболее устойчивых алгоритмов с наилучшим качеством. Решение будет сравниваться с предоставленной моделью машинного обучения на двух наборах данных: исходных и атакованных. Можно использовать как заранее предоставленную модель, так и обучить новую, при выполнении ограничений на ресурсы и время работы модели.
Формат решений: контейнер с кодом.
Метрика соревнования: Mean Harm. Gini.
Призовой фонд: 1 млн рублей.
Помимо двух соревновательных задач открыта специальная номинация за лучшие публичные решения — Companion. Победителей в номинации определит жюри, принимая во внимание реакции и поддержку материалов самими участниками соревнования.
Участникам предоставляется полная соревновательная среда для проверки моделей машинного обучения на возможности атак: как со стороны атакующих, по заранее определенному протоколу, так и со стороны защищающихся.
Чтобы еще больше приблизить новую развивающуюся область машинного обучения к практике, соревнование проводится на реальной практической задаче из банковской области – предсказание дефолта по кредиту. Данные для соревнования были тщательно анонимизированы и деидентифицированы.
Пройти регистрацию на соревнование можно по ссылке.
ссылка на оригинал статьи https://habr.com/ru/articles/715470/
Добавить комментарий