В Google DeepMind представили концепцию курсора мыши с возможностями ИИ

В Google DeepMind представили концепт указателя мыши с возможностями искусственного интеллекта. Он призван решить проблему работы с инструментами ИИ, которые находятся в отдельных окнах.

«Мы хотим обратного: интуитивно понятного ИИ, который будет взаимодействовать с пользователями во всех используемых ими инструментах, не прерывая их рабочий процесс. Например, представьте, что вы указываете на изображение здания и запрашиваете “Покажите мне маршрут”. Больше ничего не нужно, когда система ИИ уже понимает контекст», — пояснили исследователи.

Курсор работает на платформе Gemini. Например, вы может посетить Google AI Studio, чтобы отредактировать изображение или найти места на карте, просто указав пальцем и произнеся команду. 

Исследователи разработали четыре принципа, которые в совокупности переносят сложную работу по передаче контекста и намерений с пользователя на компьютер, заменяя текстовые подсказки более простыми и интуитивно понятными взаимодействиями:

• возможности ИИ должны работать во всех приложениях. Прототип указателя с поддержкой ИИ доступен везде, например, он может указать на PDF-файл и запросить краткое изложение в виде списка для вставки непосредственно в электронное письмо, навести курсор на таблицу статистики и запросить версию в виде круговой диаграммы либо выделить рецепт и попросить удвоить все ингредиенты;

• объяснять то, что видит пользователь. Современные модели ИИ требуют точных инструкций, и им приходится писать подробную подсказку. Указатель с поддержкой ИИ упростит этот процесс, плавно захватывая визуальный и семантический контекст вокруг указателя, позволяя компьютеру «видеть» и понимать, что важно для пользователя. В экспериментальной системе достаточно просто указать пальцем, и ИИ точно знает, с каким словом, абзацем, частью изображения или блоком кода пользователю нужна помощь;

• преобразовывать пиксели в структурированные сущности, такие как места, даты и объекты, с которыми пользователи могут мгновенно взаимодействовать. Так, ИИ сможет превратить фотографию набросанной заметки в интерактивный список дел, а стоп-кадр в видеоролике о путешествии — в ссылку для бронирования столика в том самом ресторане;

• понимать простые фразы. Например, пользователь может сказать: «Исправьте это», «Переместите это сюда» или «Что это значит?», а система искусственного интеллекта поймёт сочетание контекста, указания и речи.

Ранее Google анонсировала линейку ноутбуков «Googlebook», которая выйдет этой осенью. Устройства будут работать на новой операционной системе, созданной на основе Android и ChromeOS, и будут запускать Chrome, приложения Android, приложения и файлы, подключаемые к телефону, а также будут интегрированы с функциями Gemini.