ИИ-агент для управления компьютером: разработка умного помощника на Python

Представьте, что вы говорите своему компьютеру «Открой презентацию по проекту и добавь новый слайд с графиком продаж», и компьютер выполняет эту задачу, используя клавиатуру и мышь, как если бы за ним сидел реальный человек. В этой статье я расскажу, как создать ИИ-агента, который может управлять компьютером с помощью голосовых команд, используя современные языковые модели и простые Python-модули. Статья несет в первую очередь познавательную цель, чтобы поделиться опытом разработки.

Архитектура и технический стек

Программа состоит из нескольких ключевых компонентов:

1. Модуль захвата экрана — делает скриншоты для «зрения» агента

2. Голосовой интерфейс — распознает команды пользователя в реальном времени

3. Языковая модель — анализирует скриншоты и команды, принимает решения

4. Система управления — выполняет действия с курсором и клавиатурой

5. Модуль извлечения команд — парсит JSON-команды из ответа LLM

Для работы с языковой моделью я использую OpenRouter AI, который предоставляет доступ к различным LLM. Наилучшие результаты показывает Gemini Flash 2.0 благодаря оптимальному балансу скорости и стоимости запросов. Однако для тех, кто предпочитает локальное решение без отправки данных внешним сервисам, есть альтернатива — запустить модель на своем компьютере через LM Studio. Недавно DeepMind выпустили мультимодальные модели Gemma 3 (4b, 12b и 27b), которые отлично подходят для таких задач. Для работы с LM Studio в коде достаточно поменять Base URL клиента.

Особое внимание стоит уделить голосовому интерфейсу. Для распознавания речи я использую локальную модель Whisper, которая обеспечивает высокую точность распознавания без необходимости передачи аудиоданных в облако. Это существенно повышает приватность и снижает задержки при обработке команд. Микрофон активно прослушивается в реальном времени, и как только пользователь начинает говорить, агент переходит в режим приема команды, что отображается в индикаторе состояния в правом верхнем углу экрана.

Принцип работы

Цикл работы агента выглядит следующим образом:

1. Получение инструкции — пользователь вводит команду текстом или голосом

2. Обработка инструкции LLM — команда отправляется языковой модели вместе со скриншотом текущего состояния экрана

3. Извлечение команд — LLM генерирует ответ, содержащий набор команд в JSON-формате

4. Выполнение команд — извлеченные команды последовательно выполняются, используя соответствующие модули

5. Обратная связь — агент предоставляет отчет о выполнении каждой команды и делает новый скриншот для контроля результата

Интересной особенностью системы является то, что она работает в соответствии с принципом «клавиатура прежде всего». Это значит, что агент в первую очередь пытается использовать горячие клавиши и текстовый ввод, а не перемещение мыши. Такой подход значительно ускоряет выполнение большинства задач.

Модуль управления курсором

Для точного управления курсором я реализовал специальный модуль, который:

1. Делит экран на условную сетку координат

2. Принимает описания UI-элементов в естественном языке (например, «Поисковая строка браузера»)

3. Анализирует скриншот и определяет, где находится нужный элемент

4. Перемещает курсор в соответствующую позицию

На протяжении всего процесса в правом верхнем углу экрана отображается текущее состояние агента: «Слушаю» при активном распознавании речи, «Анализирую» при обработке команды языковой моделью, «Выполняю» при исполнении действий, и «Ожидаю» в режиме ожидания новых инструкций. Это позволяет пользователю всегда понимать, на каком этапе находится обработка его запроса.

Системный промпт

Разработка эффективного системного промпта стала одним из наиболее сложных и интересных этапов создания проекта. Первая версия промпта была достаточно простой и содержала лишь базовые инструкции для модели. Однако быстро стало ясно, что без детальных указаний небольшая языковая модель не способна последовательно и эффективно управлять компьютером.

Я начал с анализа типичных задач, которые пользователь может делегировать агенту, и выделил основные сценарии взаимодействия с интерфейсом. На основе этого анализа были сформулированы ключевые принципы, такие как «приоритет клавиатуры» и «визуальная верификация».

Затем я итеративно тестировал промпт на различных задачах, фиксируя типичные ошибки и недопонимания со стороны модели. Каждая итерация приводила к уточнению инструкций и добавлению новых разделов. Например, после того как я заметил, что модель часто «предполагает» успешность выполнения команд без проверки, я добавил раздел о необходимости визуальной верификации каждого действия.

Особенно полезным оказалось структурирование промпта по принципу «от общего к частному»: сначала определяются фундаментальные принципы работы, затем протоколы выполнения задач, и только потом конкретные команды и технические детали. Такая иерархическая структура помогает модели правильно определять приоритеты и следовать общей стратегии даже в нестандартных ситуациях.

Финальная версия системного промпта включает в себя основные принципы, протокол выполнения задач, правила планирования действий, приоритеты команд и протокол восстановления после ошибок. Это позволяет модели действовать последовательно, предсказуемо и эффективно в различных сценариях использования.

Основные принципы

• Приоритет клавиатуры — использование горячих клавиш для большинства действий

• Визуальная верификация — проверка результата каждого действия по скриншоту

• Адаптивное выполнение — быстрая смена стратегии при неудаче

• Атомарная точность — взаимодействие с элементами интерфейса по их точным названиям

Протокол выполнения задач

1. Наблюдение и анализ — описание видимых элементов и планирование действий

2. Составление плана — разбиение задачи на подзадачи с проверкой выполнения

3. Выполнение команд — генерация и исполнение JSON-команд для управления системой

4. Восстановление после ошибок — протокол для обработки неудач и изменения стратегии

Разработка программы

Для голосового управления агентом мы используем модель Whisper от OpenAI, которая предоставляет высококачественное распознавание речи:

class VoiceInputProcessor:     def __init__(self, model_name="tiny", language="ru", sample_rate=16000,                   device=None, vad_threshold=0.05, callback=None):         # Инициализация модели Whisper         self.model_name = model_name         self.language = language         self.device = device if device else ("cuda" if torch.cuda.is_available() else "cpu")         self.model = whisper.load_model(model_name, device=self.device)                  # Параметры для обнаружения голосовой активности         self.vad_threshold = vad_threshold         self.silence_duration = 0.3         self.max_record_duration = 3.0         self.min_speech_duration = 0.2                  # Очереди и буферы         self.audio_queue = queue.Queue()         self.text_queue = queue.Queue()         self.audio_buffer = [] 

Модуль голосового ввода:

1. Захватывает аудио с микрофона

2. Определяет момент начала и окончания речи

3. Отправляет записанные аудиофрагменты на распознавание

4. Предоставляет распознанный текст основному модулю

Теперь нам нужен модуль, который будет анализировать ответы от языковой модели и выполнять команды. Этот модуль извлекает JSON-команды из текстового ответа языковой модели, обрабатывает различные типы команд (перемещение курсора, клики, ввод текста), выполняет команды и возвращает результаты выполнения.

Основной цикл работы агента выглядит так:

def run_desktop_agent(task, max_iterations=15, use_voice=True, voice_model="tiny", voice_language="ru"):     messages = [{'role': 'user', 'content': [{"type": "text", "text": f"New task: {task}"}]}]          # Инициализация голосового ввода     voice_processor = None     if use_voice and VOICE_AVAILABLE:         voice_processor = VoiceInputProcessor(             model_name=voice_model,             language=voice_language         )         voice_processor.start()          i = 0     while i < max_iterations and agent_running:         # Обработка голосового ввода         voice_feedback = process_voice_input()                  # Захват скриншота         save_screenshot()         fullscreen_img = convert_to_base64('screenshots/fullscreen.jpg')                  # Подготовка сообщения для языковой модели         message_content = [             {"type": "text", "text": "Fullscreen screenshot:"},             {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{fullscreen_img}"}}         ]                  if voice_feedback:             message_content.append({"type": "text", "text": f"Voice feedback: {voice_feedback}"})                  # Генерация ответа от LLM         generated_text = generate(list(temp_messages), SYSTEM_PROMPT)                  # Извлечение команд и текста из ответа         commands, text = extract_json(generated_text)                  # Выполнение команд         if commands:             command_results = process_commands(commands)                      i += 1 

Для запуска агента используется командная строка с различными параметрами:

python main.py "Открой браузер и перейди на youtube.com" --voice-model tiny --voice-language ru 

Параметры запуска:

• Текст задачи, которую должен выполнить агент

• —no-voice — отключить голосовой ввод

• —voice-model — размер модели Whisper (tiny, base, small, medium, large)

• —voice-language — язык распознавания речи

• —max-iterations — максимальное число итераций агента

Заключение

Разработанный ИИ-агент представляет собой шаг к созданию действительно полезных цифровых ассистентов, которые могут выполнять реальные задачи в интерфейсе компьютера. Благодаря использованию языковых моделей и модульной архитектуре, система получилась гибкой и расширяемой. Конечно, сейчас этот проект далёк от реального использования в работе, однако новые языковые модели выходят практически каждую неделю — LLM становятся быстрее и лучше. С каждой новой языковой моделью такие агенты будут становиться всё практичнее и удобнее.

Исходный код проекта доступен на GitHub. Больше о развитии этого проекта можете прочитать в моем Telegram канале. По всем вопросам пишите мне в Telegram. Буду рад обратной связи и предложениям по улучшению!