Управление компьютером. Голосовое управление ПК. Arduino + voice recognition module v3.1 + EasyHID + DFPlayer

— Когда стало скучно нажимать на кнопку выключения компьютера.

Введение

Желание (лень) исполнять определенную инструкцию не только с помощью клавиатуры, но и голоса, побудили сделать устройство, которое выполняет голосовые команды.

Устройство должно эмулировать клавиатуру, что-то выполнять на компьютере после получения команды (какого-то слова или предложения), и иметь отклик (сигнал с зуммера и динамика).

Принципиальная схема устройства

Устройство состоит из следующих модулей:

1. Распознавание голоса (voice recognition module v3.1)

2. DFPlayer — A Mini MP3 Player

3. (Хотелось бы выделить в качестве модуля или отдельного фрагмента) эмулирование устройства ввода по USB с помощью библиотеки EasyHID.

Описание

Ссылки необходимы для прочтения, много информации, и чувствую то, что не имеет смысла дублировать ее здесь.

DFPlayer — используем для отклика устройства, оно будет реагировать на наши команды и отвечать нам приятным женским голосом (актриса дубляжа, которая озвучивала героиню Полину, из новеллы «Зайчик») Для этого необходим знакомый мне бот(телеграмм) —@silero_voice_bot.

Я подготовил для себя примерный список:

Так же обратите внимание (в описании к модулю это есть) как стоит наименовать каталоги и файлы во флеш-накопителе, после того как заготовите «ответы».

EasyHID — библиотека, с помощью нее будем, например: вводить компьютер в сон и выводить из сна компьютер.

Voice recognition module v3.1(далее VRM) — используется в качестве того кто будет записывать голосовые и команды распознавать их.

У модуля VRM я заменил микрофон (его родной) на CZN-15E (или +- похожий), он немного не подходит, но удачно совпадает с диаметром «посадочного» места для микрофона.

-Голосовые команды я записывал примерно так, 20-30 см от микрофона, но (комментарий 2) чем громче тем лучше (не кричать), четко и самое главное обычный (если можно так сказать стандартный) тембр и темп голоса.

Существенный недостаток модуля VRM, то что в «оперативной» своей памяти он держит только 7 голосовых команд, его скорость и «длинна» звуковой дорожки 1,5 сек.

В модуле памяти я записал(провел обучение) следующие команды, что-то на русском что-то на английском языке, рекомендую заострить внимание на этапе обучение модуля.

После сборки, имейте ввиду, что питание от USB компьютера будет не достаточно для устройства и будут «веселые ошибки» при загрузке скетча, я использую USB-HUB c отдельным питанием (на выход USB).

Алгоритм

Проработайте для себя Вашу систему «команда-ответ», какие голосовые команды Вы произносите, и что модуль отвечает и выполняет.

Проведите обучение Вашего модуля, пронумеруйте и запомните(например: по аналогии в программном коде). Рекомендую поэкспериментировать в Вашем помещении, Вы будете приятно разочарованы VRM, но главное работает.

Запишите через любой сервис голосовые ответы на флеш -накопителе (в mp3 формате), можете расположить в каталогах, или в одном, правда не забудьте запомнить номера, или используйте только зуммер.

Программный код частично подготовлен к добавлению нового функционала, необходимо дописать новую функцию (того что Вы хотите и добавьте в соответствующий исполнитель (switch).

void work_voice(){  /*...*/ // сравнение с массивом - massiv_my_command - в котором хранятся команды( номер соответсвует индексу) switch(i){   case 0: on_comp()     ;  break;   // Включить компьютер   case 1: off_comp()    ;  break;   // Выключить компьютер   case 2: hellow_comp() ;  break;   // Поздороваться    /*...*/ } flag_start_lesten_voice = false; break;}             // Сбросить флаг (общение прекращено) /*...*/ }

Условное описание исполнения программного кода, в примерах выделены, как мне кажется, важные строчки при собственном написании программного кода.

1. В модуль VRM — загружены первые ключевые команды, из которых строится предложение (последовательность голосовых команд), другие голосовые команды будут распознаны, но проигнорированы, напомню что голосовая команда не более 1,5 секунды, а так же скорость распознавания модуля.

// пример: // Выполняем здесь процесс ожидания ( таймер предварительно запущен) ISR(TIMER1_A) { /*...*/}    // рандомное воспроиведение из каталога "не могу выполнить" DFPlayer.playFolder(4,random_number);                 // SD\02\001  //Если все звуковые файлы в одном каталоге (в корне)  // SD\MP3\0012 DFPlayer.play(12)  

2. Если пришла ключевая голосовая команда, запускается таймер ожидания, ждем следующую команду (которая участвует в той или иной комбинации предложения), так же в качестве отклика подает короткий сигнал зуммера (голосовая команда была распознана).

// пример: // Выполняем здесь процесс ожидания ( таймер предварительно запущен) ISR(TIMER1_A) { /*...*/}    // рандомное воспроиведение из каталога "не могу выполнить" DFPlayer.playFolder(4,random_number);                 // SD\02\001  //Если все звуковые файлы в одном каталоге (в корне)  // SD\MP3\0012 DFPlayer.play(12)  

3. Если в течении 10 секунд ничего не поступило или голосовые команды не были распознаны, то сообщим об этом и начнем сначала. Если поступили, сохранили комбинацию, сверили с тем, что ожидаем, если есть такая команда выполняем ее инструкцию, сопровождаем откликом соответствующей звуковой дорожкой и начинаем сначала.

// пример: void setup() {   /*...*/   HID.begin();                // Инициализация USB }  void loop() {   /*...*/   HID.tick();                 // Вызываем тикер не реже чем каждые 10 мс! }  void do_something(){   Keyboard.click(KEY_SLEEP);    // в сон   Keyboard.click(KEY_WAKE);     // разбудить    Keyboard.println("hi");       // напечатать (там где выбрал курсор) } 

Обратите внимание! Какие голосовые команды загружены в оперативную память распознавателя, и помните какие необходимы во время произнесения команды (предложения), я выделил, для себя, универсальность загрузки цифр (1-7), соответственно и их произношение, но можно подгружать в процессе, то что необходимо, но не забудьте стирать старые, загрузка работает так: первый вошел — последний вышел.

После произнесение команды, мы посылаем в компьютер команду спать (хотел бы я так сказать, но по итогу мы нажали сочетание клавиш, которое отслеживаем специальной программой (предварительно настроили реакцию компьютера на рисунке 7).

Видео

Работу модуля продемонстрирую на видео:

Проблемы

1. С HID — подобными библиотеками которые реализованы, через эмулирование устройства ввода по USB, проблем и вопросов тьма, начиная с ppm 16MHz кварца, который стоит на борту каждой платы arduino nano (для поддержки стандарта USB).

2. Есть вопрос на который я не смог найти ответа. Почему windows 7 в режиме сна игнорирует устройства реализованные на HID — подобных библиотеках

Попытка решить

1. На первый вопрос, я решил (поленился) использовать arduino DUE, и его встроенный native USB, так же можно выбрать какой-нибудь UART-USB, а сам проект реализовать не на платформе arduino nano, например на той же arduino DUE,выбор свободный.

//ПРИМЕР #include <Keyboard.h> int w,f;   void setup() {   Keyboard.begin();   pinMode(10,INPUT);   pinMode(9,INPUT);    }  void loop() {   delay(10);   w = digitalRead(10);   f = digitalRead(9);   if(w == HIGH){     Keyboard.press(KEY_LEFT_SHIFT);     Keyboard.press(KEY_LEFT_ALT);     Keyboard.press(KEY_F10);     delay(200);     Keyboard.releaseAll(); //Отпустить все     delay(1000);     w = 0;   }  if(f == HIGH){     Keyboard.press(KEY_F10);     delay(200);     Keyboard.press(0x57);     delay(200);     Keyboard.releaseAll(); //Отпустить все     delay(1000);     f=0;  }

2. Вроде бы, для счастья достаточно того факта, что windows в диспетчере видит наше устройство, как устройство ввода, но windows по прежнему не устраивает в режиме сна. После поисков, остался ни с чем, предположительно дело в драйверах (надеюсь).

Итог

После сборки устройства подошел к философскому вопросу, действительно ли мне оно необходимо — голосовое управление ПК?

Не все поставленные задачи были решены, но в качестве игрушки VRM — модуль интересно себя показал. К сожалению для чего‑то серьезного он не подойдет, не в связи с проблемой номер 2, а с его взаимодействием. Голосовое управление реализованное на этом голосовом модуле — крайне щепетильно, распознавание голоса здесь — на уровне проходной, с отсутствием охраны и дверей, табличка весит, но поймет слово от любого человека (почти); слово не стоит произносить дольше 1,5 сек, скорость обработки и момента «‘эфира» — когда модуль записывает для сравнения, крайне медленное, очень часто будут происходить ситуации с тем что придется произносить команду заново.