О беспилотных автомобилях или почему я не хочу жить в «умном доме»

Последнее время новостная река раз за разом доносит до меня пышущие оптимизмом отчёты об очередном успехе беспилотного автомобиля. Сперва он просто научился ездить по дороге, потом научился делить её со своими собратьями, потом стал различать перебегающих через дорогу лосей и пешеходов и даже не делать между ними разницы и одинаково избегать столкновения. Последние сводки с этого фронта бодро рапортуют, что в некоторых штатах США бепилотники уже выпускают на дороги общего пользования. Автопроизводители не отстают – у них уже готовы концепты и даже действующие прототипы. Подумывают уже и о массовом производстве.

И вот тут притормозить бы, да призадуматься…

Беспилотные автомобили ещё только делают свои первые шаги в этом мире. Однако же их старшие братья – беспилотные самолёты – уже вовсю бороздят наши небеса. И не просто бороздят, а активно вмешиваются в происходящее на земле – террористов отстреливают, например. Умные дома давно уже перестали быть фантастикой и даже новшеством. Однако до сих пор не решён один простой, в сущности, юридический вопрос, заключающийся в одном из пунктов лицензионного соглашения.

За всеми этими беспилотниками, умными домами, Азимо и прочими достижениями робототехники стоит программа. Большая и умная, или маленькая и глупая, но она есть всегда. Именно эта программа анализирует поступающие данные и на их основании принимает решение. И у этой программы есть лицензионное соглашение. В котором написано – разработчик не несёт ответственности…, не гарантирует…, не принимает претензий…

Ближайший пример – системы управления предприятием (1С, Axapta и кто там ещё есть). Эти системы полностью аналогичны программам, обслуживающим роботов – они собирают информацию о состоянии предприятия, анализирую её и на основании своих расчётов предлагают какое-то решение. Заметьте – я сказал именно «предлагают», а не принимают. Если на мониторе директора такая система напишет «отказаться от выпуска модели А», то выпуск этой модели автоматически не прекратится – директор имеет все возможности перепроверить расчёты системы вручную, посоветоваться со знающими людьми и вообще игнорировать предложение системы на основании своего богатого опыта и «шестого чувства». Системы управления предприятием – ничем на самом деле не управляют. При этом если система в своих расчётах ошибётся – например, как Excel, не сумеет правильно сложить два числа – то последствия для предприятия могут быть самыми катастрофическими, вплоть до полного развала и банкротства. И производитель системы претензии принимать откажется – он же ничего не гарантирует и никакой ответственности не несёт. Бухгалтера, над которыми так любят посмеяться «продвинутые админы», прекрасно это осознают – потому и проверяют супер-мега-крутую систему на счётах, что за её ошибку ответственность (уголовную в том числе) придётся нести только им.

Вся разница между подобными системами и системами, управляющими роботами, состоит в том, что эти последние решения не предлагают, а именно принимают. Беспилотный истребитель может неправильно сложить два числа, но он не предложить пилоту сменить курс и пострелять по бегающим на школьном стадионе детям – он сам это сделает, потому что нет пилота. Беспилотный автомобиль может неправильно сложить два числа, но он не предложит водителю погонять по полной людей площади – он сам будет играть в эти салочки, ведь водителя-то нет. Умный дом может неправильно сложить два числа и решить, что объём вашей ванны в десять раз больше, чем есть, и что в неё надо налить воды до краёв – он не станет давать вам советов, а просто откроет краны на полную, а соседи снизу в его программу не заложены. И во всех случаях отвечать будете именно вы – ведь это ваш автомобиль подавил кучу народа на площади, ведь в вашей квартире вода течёт без остановки.

Мне могут возразить, что в современных автомобилях и так полно начинки, и что она и так в любой момент может отказать. Верно. Как верно и то, что экспертиза покажет, что в аварии виновна отказавшая начинка машины, и ответственность за это нести будет производитель. А вот если в аварии будет виновато сглючившее ПО, то производитель машины не при делах – машина исправна. А производитель ПО не при делах a priori – ведь он ничего не гарантирует, ответственности не несёт и претензий просто не принимает. Кто будет отвечать?

Собственно, вопрос об ответственности должен бетонной стеной стоять на пути производства всех этих беспилотников, роботов и умных домов. Учёные постоянно с гордостью рапортуют о всё новых решениях проблем, о самых совершенных усовершенствованиях, о достигнутых рубежах и новых завоеваниях. Однако когда ваш умный дом окажется идиотом – кто отвечать будет? Кого судить, когда ваш новейший беспилотный автомобиль въедет в автобусную остановку с людьми?

Привычка не глядя нажимать кнопочку «I agree» может в будущем сослужить нам плохую службу…