Правозащитники призывают принять первый закон роботехники

Любители научной фантастики отлично знают три закона роботехники, сформулированные Айзеком Азимовым:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.

Эти законы действуют в книгах, но не в реальной жизни. К счастью, пока не существует роботов, способных поражать противника в автономном режиме — только под управлением оператора. Однако, технологии вплотную приблизились к опасной точке, считают некоторые эксперты.

Например, модель SGR-1 производства Samsung Techwin (на фото) используется для охраны демилитаризованной зоны на границе с Северной Кореей. Оснащение — 5,5-миллиметровые пулеметы и 40-миллиметровые автоматические гранатометы. Робот функционирует в полуавтоматическом режиме, но стрелять может только по команде оператора.

Правительства ряда стран, включая Соединённые Штаты, благоприятно воспринимают возможность спасти жизни солдат, заменив их роботами на поле боя, говорит Стив Гус (Steve Goose) из отдела по вооружениям Human Rights Watch. На первый взгляд, такая альтернатива выглядит как гуманный выбор, но специалисты предупреждают о неизбежных ошибках, которые связаны с несовершенной работой алгоритмов компьютерного зрения. В некоторых ситуациях даже человек не может абсолютно точно определить разницу между вооружённым противником и мирным жителем, так что у систем компьютерного зрения наверняка будут ложные срабатывания.

Правозащитная организация Human Rights Watch опубликовала 50-страничный отчёт “Losing Humanity
The Case against Killer Robots” с обзором военных роботов, которые эволюционируют от управляемых к полностью автоматическим машинам. Правозащитники призывают все страны к соблюдению международного законодательства, в том числе статьи 36 дополнительного протокола I к Женевским конвенциям от 12 августа 1949 года, касающегося защиты жертв международных вооружённых конфликтов:

Статья 36
Новые виды оружия

При изучении, разработке, приобретении или принятии на вооружение новых видов оружия, средств или методов ведения войны Высокая Договаривающаяся Сторона должна определить, подпадает ли их применение, при некоторых или при всех обстоятельствах, под запрещения, содержащиеся в настоящем Протоколе или в каких-либо других нормах международного права, применяемых к Высокой Договаривающейся Стороне.

Рассмотрение вопроса о легальности новых видов военных роботов должно приниматься уже на этапе разработки концепции/дизайна устройства или позже, но в любом случае — до начала его массового производства, ибо это противоречит Женевским конвенциям.

По мнению специалистов отдела вооружений Human Rights Watch, армия США нарушила конвенцию в отношении как минимум одного вида вооружений. Речь идёт о беспилотном летательном аппарате Predator, который оснащается ракетами Hellfire.

Эти два вида вооружений проходили оценку независимо друг от друга, тогда как в разъяснении МККК по статье 36 Протокола сказано, что новый вид вооружения должен проходить повторную проверку на соответствии нормам международного права после «значительной модернизации». Оснащении беспилотников ракетами Hellfire — очевидно, подпадает под определение «значительной модернизации».

Эксперты правозащитной организации констатируют, что в международном праве отсутствует прямой запрет на использование автономных боевых роботов. Однако, подобные виды вооружений косвенно не соответствуют Женевским конвенциям от 12 августа 1949 года, касающегося защиты жертв международных вооружённых конфликтов. Очевидно, что ни одна современная система компьютерного зрения не способна выполнять статьи 48 и 51(4) Протокола.

Статья 48
Основная норма

Для обеспечения уважения и защиты гражданского населения и гражданских объектов стороны, находящейся в конфликте, должны всегда проводить различие между гражданским населением и комбатантами, а также между гражданскими объектами и военными объектами и соответственно направлять свои действия только против военных объектов.

Статья 51
Защита гражданского населения
4. Нападения неизбирательного характера запрещаются. К нападениям неизбирательного характера относятся:
a) нападения, которые не направлены на конкретные военные объекты;
b) нападения, при которых применяются методы или средства ведения
военных действий, которые не могут быть направлены на конкретные военные объекты; или
c) нападения, при которых применяются методы или средства ведения военных действий, последствия которых не могут быть ограничены, как это требуется в соответствии с настоящим Протоколом;
и которые, таким образом, в каждом таком случае поражают военные объекты и гражданских лиц или гражданские объекты без различия.

Вопрос в том, могут ли роботы, при достаточном развитии технологий в будущем, хотя бы теоретически соответствовать статьям 48 и 51(4). Всё-таки, отличие гражданского лица от вооружённого противника — это одна из фундаментальных проблем.

Есть разные мнения на этот счёт. Одни эксперты считают, что сильный ИИ всё-таки сможет принимать такие решения. Другие говорят, что искусственный интеллект по определению на такое не способен, потому здесь требуется в том числе оценка намерений человека и его эмоционального состояния. В качестве примера можно привести мать, которая бежит к своим детям и кричит, чтобы они не игрались с игрушечными автоматами возле солдат. С точки зрения системы компьютерного зрения, налицо два вооружённых противника и третий, который приближается с боевым криком.

Организация Human Rights Watch выражает обеспокоенность, что вооружённые силы разных стран могут начать применение автономных боевых роботов до того, как эксперты по искусственному интеллекту придут к консенсусу. Поэтому организация призывает принять новое международное соглашение, прямо запрещающее разработку и применение вооружения, которое может функционировать в полностью автоматическом режиме.

Это будет означать, что первый закон роботехники Айзека Азимова спустя 70 лет после его создания реально воплотится в жизнь.