Тест Fail2Drive показал, что автопилоты не готовы к хаосу – слонам на дороге

Исследователи из Тюбингенского университета решили, что симуляции для автопилотов недостаточно безумны, и представили бенчмарк Fail2Drive. Теперь виртуальные водители исследуют сценарии, в которых на дорогу выходит слон, посреди перекрёстка торчит детская горка, а стену разрисовали под уходящий вдаль асфальт. Последняя уловка уже ставила в тупик реальные автопилоты Tesla.

“Почему слон перешёл дорогу? Чтобы показать, насколько хрупка ваша модель”, – пишет Андреас Гайгер, глава группы Autonomous Vision и соавтор препринта.

На кадрах, которые выложили авторы, виртуальный беспилотник сворачивает прямо в гигантского зверя и сбивает его. В другом тесте машина сначала останавливается перед детской горкой, стоящей на проезжей части, а потом таранит её. Ещё один ИИ-водитель на всём ходу влетает в припаркованную пожарную машину, даже не попытавшись затормозить.

Fail2Drive – как раз про то, чтобы выбить алгоритмы из зоны комфорта. Бенчмарк внедряет в открытый симулятор CARLA (которым активно пользуется индустрия) ворох так называемых out-of-distribution-сценариев – тех самых “невиданных” и по-настоящему случайных. Результат не заставил себя ждать: когда команда Гайгера прогнала через Fail2Drive существующие модели автономного вождения, средний процент успешных заездов рухнул на 22,8%. “Это подсвечивает фундаментальные опасения по поводу надёжности современных подходов”, – резюмирует учёный.

Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!