Инженеры представили способ обучения роботов путём подражания действиям человека

В медицинских лабораториях Университета Джонса Хопкинса инженеры обучили роботов выполнять хирургические манипуляции путём анализа видеозаписей работы опытных врачей.

Специалисты использовали систему da Vinci, которую применяют тысячи хирургов. В память машины загрузили сотни записей с миниатюрных камер, установленных на механических манипуляторах аналогичных роботов во время вмешательств.

Благодаря работе ИИ система сама анализирует изображение и выбирает нужные действия, переводя их на математический язык кинематики для описания углов поворота и траектории движения механических рук.

Архитектура машинного обучения напоминает ChatGPT, однако модель работает не с текстом, а с динамическими параметрами. 

Как заявил ведущий автор исследования Джи Вунг Ким, для полноценного обучения системы достаточно нескольких сотен примеров.

Инженеры обучали роботов трём базовым навыкам, в том числе обращению с хирургической иглой, подниманию тканей и накладыванию швов. Робот успешно справился со всеми задачами. Кроме того, он смог самостоятельно находить выход из непредвиденных ситуаций, например поднимать выскочившую иглу.

Как отмечают авторы разработки, если прежде на программирование простейшей манипуляции уходили годы, то сейчас робот осваивает сложные навыки за несколько дней.

Сейчас исследователи учат робота проводить не отдельные манипуляции, а полноценные хирургические вмешательства. Благодаря тому, что около 7 тысяч роботов da Vinci в клиниках по всему миру ежедневно пополняют архив видеозаписей, возможности обучения обширны. В итоге, вероятно, роботизированные системы смогут самостоятельно проводить сложные процедуры без помощи человека.

Научную работу представили на Конференции по обучению роботов в Мюнхене.

Между тем российская компания «Нейроспутник» представила робота LevshAI («Левша»), предназначенного для дистанционного проведения операций в эндоваскулярной нейрохирургии. Он также способен давать врачу тактильную обратную связь. При использовании «Левши» хирург дистанционно с помощью специальных контроллеров передаёт сигнал в интеллектуальный блок робота, а оттуда зашифрованная информация в виде команд отправляется в оперирующий блок. Таким образом, оперирующий блок копирует движения хирурга и перемещает катетеры и другие хирургические инструменты по сосудам головного мозга.