Фонд Национальной технологической инициативы реализует проект технологических конкурсов Up Great — открытых соревнований для инженерных команд. Здесь преодолевают технологические барьеры России и мира, чтобы решать задачи, с которыми ещё никто не справлялся.
Один из текущих конкурсов — «Экспедиция. Data Science» с технологическим партнёром Phystech.Genesis, который предоставляет платформу и маркетинг события. В конкурсе участники работают над системами ИИ по распознаванию археологических объектов на поверхности земли и глубине до 5 метров. Пока такую работу археологи делают вручную, что требует много времени и специалистов. Конкурс призван ускорить процесс и исключить человеческие ошибки, чтобы дать исторической науке новые возможности, а учёным — время на экспедиции и раскопки.
В рамках «Экспедиция. Data Science» — 3 конкурса отдельных заданий (КОЗ), а также финальный конкурс. С каждым следующим этапом команды берутся за более сложные задачи и пробуют новые подходы. Недавно организаторы объявили победителей второго из них — «Сканирование». На этом этапе команды создавали нейросети, чтобы искать археологические объекты в рельефе и под поверхностью земли.
В этой статье мы собрали заключения технических экспертов, комментарии профессионального археолога, а также поговорили с тройкой лидеров и одним из ведущих российских учёных по Data Science. Мы хотим рассказать вам, как технология и наука вместе развивают знание людей о мире в нашей стране.
Ставки растут
В «Сканировании» приняли участие 168 команд из 41 города. Несмотря на усложнение задачи в сравнении с первым КОЗ «Обнаружение», к финалу пришло больше команд — 42. Это показывает, что интерес к теме не гаснет, а мотивации у участников всё больше. Кроме того, призовой фонд «Сканирования» втрое больше прежнего: призёры ТОП 1-3 получают 7.5, 4.5 и 3 млн ₽ соответственно.
В распоряжении команд теперь стало больше данных. К снимкам и точкам лидаров добавили карты геофизических аномалий. Вот с чем работали участники.
● Воздушное лазерное сканирование
● Историческая аэрофотосъёмка
● Спутниковая съёмка
● Современная аэросъёмка
● Магниторазведка
● Георадарная съёмка
Данные разделили на несколько сетов: на одних модели обучали, а на других — испытывали в тестах на платформе Phystech.Genesis.
Главный вызов для разработчиков — не только разметить максимум объектов, но и найти баланс двух ключевых показателей: точность (Precision) и полнота (Recall).
● Чем выше точность, тем меньше ложных срабатываний, или объектов статуса False Positives, когда модель может принять, к примеру, современные постройки за древние захоронения. Из-за низкой точности археологам придётся потратить немало времени на проверку «пустышек». Однако высокий Precision предъявляет больше требований к параметрам находки и при отборе может отсеять в том числе истинные объекты. Их называют False Negatives — отказались, а зря.
● Recall работает наоборот. Это доля реальных объектов, которые нашла сеть, от общего числа объектов на территории. Низкая полнота как раз и означает большую долю False Negatives. А высокая — это когда модель верно отметила действительные объекты, но вместе с ними могла захватить и немало False Positives.
В целом археологам важнее полнота, нежели точность. Даже если технология обозначит контур лишь частично, а также захватит немало False Positives — по крайней мере у специалистов будет больше шансов обнаружить все True Positives — реальные археологические объекты.
Вокруг соотношения этих категорий объектов — FP, FN и TP — и строится главная метрика конкурса, по которой определяют победителей.
Накал финала
Тройка лидеров в «Сканировании».
● 1 место — Family из Омска
● 2 место — mlart из Москвы
● 3 место — GigaFlex из Уфы
Ниже — их результаты.
Family работали не с одной моделью, а с восемью: по 4 для обработки поверхностных снимков и геофизических данных. Независимые модели «изучали» одни и те же источники, и команда валидировала результат, если объект подтверждали минимум 2 модели из четырёх.
Кроме того, омичи применяли проверку Монте-Карло. Её назвали так, потому что пакет данных для обучения и разметки программа выбирает случайно, как в казино. Суть метода в том, чтобы множество раз пропускать через модель разные порции данных, и смотреть, насколько стабилен будет успех модели в определении объектов. По Монте-Карло побеждает не модель с разовой максимальной оценкой, а та, которая даёт высокий, но при этом стабильный результат с минимальным отклонением в разных подходах. Ей и доверяют больше.
Mlart сделали ставку на разделение моделей по типам данных и физическому смыслу, а не по форматам файлов. Здесь настроили программы для трёх модальностей: отражённый свет от лидаров, съёмки рельефа и аномалии магнитного поля. В дополнение команда одновременно тестировала несколько семейств моделей, чтобы диверсифицировать риски неуспеха в финале. Ставка сработала.
GigaFlex применяли 6 моделей, но построили проверку иначе. Сперва отдавали нарезанные фрагменты контента — тайлы — главной универсальной нейросети, которую обучили определять все виды археологических объектов. Затем — «single-class специалистам». Это уже специализированные модели, заточенные на поиск отдельных классов: курганов, городищ, фортификаций и других. Такой подход повысил точность итогов.
Вот что говорят капитаны команд.
Виктор Дурнов, Family
— Я часто иду на конкурсы. Для меня это вызов: занять призовое место, попробовать новые данные, модели, технологии. «Экспедиция. Data Science» уникален особенными данными. К ним нужно найти подход. Мы по-разному работали с аугментацией исходников: меняли масштабы и освещение, поворачивали объекты. По чуть-чуть корректировали метрики, чтобы достичь успеха. Главное здесь — выложиться по полной.
Артем Коньшин, mlart
— С детства играю в игры и поэтому люблю соревнования по ML. Наша главная загвоздка в «Сканировании» — найти подход к задаче. У данных широкая модальность и разные источники: лидары, магнитная съёмка, аэрокадры. Большой вызов был в том, чтобы разобраться, как ко всему этому подступиться. Помогло то, что в один момент разделили модели для разных источников. Тогда стало понятно, что делать дальше.
Артём Стрекалов, GigaFlex
— Меня вдохновил момент, когда увидел промежуточные результаты других команд. Они были вдвое больше наших, и проснулся спортивный интерес. Захотел понять, почему у них получается, а у нас нет. Тогда я глубже включился в процесс и отсматривал каждый кадр. До этого из-за скорости конкурса доверял часть работы ИИ, а потом провёл аудит и нашёл его ошибки, которые блокировали рост метрик. Совет самим себе на будущее — больше работать с данными, а не с кодом. Они сильнее влияют на результат.
Глазами археолога
Решения, над которыми работают участники — ПО для археологов. Именно они будут применять разработки, чтобы быстро размечать данные и выявлять объекты. Именно они готовили датасет для обучения моделей и помогали ставить задачу.
Наш главный эксперт в этой области — Василий Новиков. Кандидат исторических наук, специалист по эпохе викингов и раннему средневековью. Руководит археологическим отрядом Смоленской экспедиции на территории Гнёздовского комплекса. Уделяет особое внимание неинвазивным методам исследований, на которые нацелен КОЗ «Сканирование». Ниже — тезисы его оценки по итогам этапа.
● Отлично, что откликнулось так много команд. Это значит, что направление DS в археологии продолжает привлекать интерес. Кроме того, вдохновляют результаты — КОЗ №1 «Обнаружение» принёс куда меньше полезных разработок.
● Новые решения уже можно применять — загрузить большой массив данных и быстро получить разметку объектов, а затем проверять вручную. Это экономит время и помогает не упустить ценные находки. Однако для цели этого недостаточно.
● Археологам нужно решение, которое будет не только делать за них рутинную работу, но и находить объекты, незаметные глазу человека. Для этого модели должны научиться выявлять связи и закономерности в расположении и геометрии объектов, пока недоступные вниманию специалиста. Речь идёт о структурных концентрациях и сочетаниях, которые помогут перейти от детекции отдельных объектов к пониманию археологического ландшафта.
● Крайне ценно и прогнозное свойство, которого пока у моделей нет. Целевое решение, к примеру, могло бы обращать внимание историков не только на очевидные курганы, но и на новые области исследования, которые по совокупности критериев совпадают с реальными, даже если самих объектов там не видно.
В целом результаты «Сканирования» — важный шаг вперёд на долгом пути. Он ещё не привёл нас в пункт назначения, но без этого шага наука не продвинется дальше.
Учёный совет
А что, если посмотреть шире? Мы задали несколько философских вопросов Егору Ершову, старшему научному сотруднику Института проблем передачи информации РАН.
Возможно ли вообще решить такую задачу до конца? Можно ли точно обнаружить все археологические объекты на Земле?
— Вопрос каверзный. С одной стороны, найти все археологические объекты можно, потому что их число не бесконечно. С другой, система искусственного интеллекта никогда не будет работать с абсолютной точностью. Особенность всех задач, связанных с наукой о данных — то, что у них неточные постановки. Объект, который мы исследуем, недостаточно формализован. Одно захоронение, дорога, курган — будут отличаться от другого по признакам, которые могут быть не важны для человека, но критичны для модели. Трудно представить, что мы сможем это учесть.
При этом оптимизм вызывают именно способности моделей анализировать данные. Можно предельно повысить эффективность поиска объектов благодаря нейросетям. У нас есть возможность делать перекос в сторону полноты распознавания, нежели точности. В таком случае человек будет больше занят отсмотром и изучением зон, которые подсветила модель. К технологии стоит относиться как к существенной автоматизации, а не роботизации и принятию решений.
Найдут ли машины закономерности, которых не может увидеть глаз?
— Таких примеров уже немало. Около 10 лет назад в США проводили конкурсы по распознаванию номерных знаков машин между компьютерами и людьми. Люди проиграли. К тому же ИИ многократно лучше в скорости обработки данных. Не использовать такой инструмент неверно.
Может ли археолог полностью доверять разметке от нейросетей?
— Самый сложный момент. Мы живём в социальном обществе, люди для людей. Одна из главных основ общества — доверие. В медицине свёрточные нейросети давно распознают патологии на изображениях. Но думаю, нет и не будет такого, чтобы это не подписывал человек.
Мы должны отвечать за результат. Вопрос в том, как много внимания нам стоит уделить задаче. Есть примеры, когда нейросеть и врач смотрят на один и тот же снимок КТ. В итоге с основным заболеванием врач справляется отлично, но не видит сопутствующих, которые он и не искал. Упущенные диагнозы приводят к трагедиям. Машина в такой задаче увидит больше: внимание человека устроено сложно, им труднее управлять.
Решение о балансе ответственности человека и автоматизации должно быть экономическим. Мы сравниваем цену ошибки с затратами времени специалиста. Если в медицине речь о жизнях, то в археологии нет. Но и здесь стоит делать модели достаточно «тревожными», чтобы они показывали больше объектов, включая как верные, так и нет.
Что дальше
Мы поздравляем победителей, а остальным напоминаем, что следом нас ждёт третий конкурс отдельных заданий «Комплексирование». В нём команды будут больше погружаться в работу с исходными данными сенсоров — облаками точек, чтобы новое ПО эффективнее находило объекты в рельефе и предметы-аномалии, как на поверхности земли, так и под поверхностью в культурном слое и материке.
Узнайте больше об «Экспедиции. Data Science» на сайте конкурса.
ссылка на оригинал статьи https://habr.com/ru/articles/1054936/