Применение нейросетей в DIY

Сейчас мы переживаем революционный период, когда нейросети и ИИ перестают быть чем-то далёким и чуждым, и всё прочнее закрепляются в нашей жизни: школьники решают примеры при помощи Алисы, программисты ищут варианты решений в ChatGPT, художники стали осваивать искусство доработки изображений, сгенерированных в Midjourney или Шедевруме. Мы начинаем подгонять ИИ под себя. Именно рядовые пользователи, а не многомиллионные корпорации, предлагающие шаблонные решения.

Неудивительно, что ИИ-функционал теперь доступен и в устройствах для DIY. Посмотрим, что можно приобрести из таких устройств прямо сейчас. 

Gravity: Офлайн-модуль распознавание голосовых команд

Ссылка: https://www.dfrobot.com/product-2665.html

Приблизительная цена: 17$

Модуль голосового распознавания команд, работает полностью офлайн, оснащён встроенным динамиком и микрофоном, предусмотрена возможность добавления своих команд.

Совместим с Arduino, micro:bit и ESP32. Интересен для использования в «умных» домах, голосовых помощниках и вообще для любого другого взаимодействия человека и устройств.

Помимо 121 базовой команды на английском языке типа  «включить свет», «открыть дверь», «уменьшить громкость» и т.д. (полный список команд можно посмотреть здесь), есть возможность добавить 17 новых на любом языке. Как вариант, можно даже записать какой-то звук: хлопок в ладоши, щелчок или мяуканье кошки (например, для активации кормушки, если, конечно, получится заставить питомца промяукать трижды для обучения).

Бонусом идёт голосовое оповещение модуля в режиме реального времени, была ли принята и понята команда.

Среди плюсов, которые бросились в глаза лично мне:

• смена wake-up слова – вот уж точно настройка «под ключ»;

• подробная документация и вики;

• вариативность использования и уровень индивидуализации решения – в доме и не только можно сделать «умным» любую часть хозяйства, если есть техническая возможность.

Минусы: отсутствие русского языка.

Технические характеристики

• Рабочее напряжение: 3.3 – 5В

• Максимальный рабочий ток: ≤370 мА (5В)

• Интерфейсы: I2C/UART

• Адрес I2C: 0x64

• Чувствительность микрофона на плате: -28 дБ

• Размеры: 49×32 мм / 1.93×1.26”

• Рабочая температура: 0-70℃

Команды:

• Фиксированные: 121

• Фиксированное слово активации: 1

• Настраиваемые команды: 17

• Команда для активации обучения: 1

Справедливости ради, стоит заметить, что тут не учтены 9 команд, которые используются в процессе обучения.

AI-модуль: Голосовое управление роботом

Ссылка: https://ai-mcu-hub.ru/product/1584421305/

Цена: 1600 руб.

Этот продукт отчасти перекликается с предыдущим, но он уже заточен под конкретную задачу –управление роботом (хотя можно приспособить под что угодно). Решение реализовано на плате ESP32, поддерживает 9 команд (в основном направление движения и изменения скорости: «вперёд», «назад», «старт», «стоп», «медленно» и др.), и слово для перехода в спящий. На плате есть встроенные микрофон, усилитель для подключения динамика и светодиоды, последние, кстати, весьма полезны, но об этом позже.

Как мне кажется, этот продукт отлично подходит для школьников и начинающих схемотехников. Функционал, понятное дело, сильно попроще, чем у первого «лота», зато наглядность в разы выше.

Во-первых, отклик системы не только через динамик, но и через светодиоды – отличная идея. Динамик может быть тихим, а при поломке обратная связь с устройством и вовсе теряется. Здесь всё предельно ясно: зелёный – принял-понял, красный – не понимает, надо повторить. Возможно, и в первом продукте есть светодиоды, поправьте меня, если это так, но мне их найти не удалось. Во-вторых, динамик тут говорит не просто «Ок», а проговаривает команды, что тоже только в плюс к наглядности.

Импонирует лёгкость реализации идеи. По сути хватит любого детского робототехнического набора для старта работы.

Технические характеристики

• Микроконтроллер: ESP32-S3;

• Память:384 Кб ROM и 512 Кб SRAM

• MEMS-микрофон: MP34DT06JTR

• Светодиоды

• Звуковой I2S усилитель D-класса на MAX98357

• Интерфейсы: UART, SPI, I2C

• Питание: 5 В.

• Средняя потребляемая мощность — 30 мА

Интерактивная игра «Тичер»

Ссылка: https://ai-mcu-hub.ru/product/1690180792/

Продолжаем хит-парад ИИ-устройств по распознаванию слов.

Ещё одно решение, которое заточено под определённую задачу – изучение английского языка на уровне elementary. На самом деле это не совсем DIY-устройство, а полноценное решение, которому, разве что, неплохо организовать обновления пакета слов. По крайней мере я не совсем понимаю, куда бы его можно было встроить, в отличие от прошлых модулей, но сама идея такая простая и привлекательная, что мне показалось, грешно выпускать из обзора этот вариант.

Итак, что мы имеем. Плата с модулем распознавания набора английских слов. Всего в пакете 40 слов, из которых 10 цифр, но производитель обещает расширить этот пакет в будущем. Встроенный динамик, который: а) даёт отклик на попытки произнести слово, б) подсказку, в) звуковую ассоциацию. На мониторе выводятся картинки или примеры, которые надо опознать или посчитать и произнести по-английски. И снова у нас есть светодиоды, по которым тоже легко понять, удалась ли попытка. Питание от пауэрбанка (type С) или через USB. Суть игры: произнести нужное слово по-английски, не коверкая фонетику. Модуль, судя по видео, сильно к произношению не придирается, но и откровенный «рунглиш» не пропускает.

Вот бы мне её в руки поиграться… хотя не ребёнок и уровень всё же выше elementary.

Технические характеристики

(хотя тут они большого значения не имеют)

• Микроконтроллер: ESP32 S3 и ESP32 С3

• MEMS-микрофон: MP34DT06JTR

• Светодиоды: RGB LED – SK6805

• Питание: USB Type-C с адаптером для смартфона или USB-разъёмом компьютера. 5 В, 500 мА (мин).

• 4 кнопки: Reset, Back и 2 User/Boot

• OLED-дисплей

Gravity: Huskylens – ИИ-камера 

Ссылка: https://www.dfrobot.com/product-1922.html

Приблизительная цена: 55$

Переходим от распознавания речи и звуков к распознаванию образов и объектов. И тут своего рода «швейцарский нож» в распознавании изображений. Модуль на основе Kendryte K210 предлагает сразу букет ИИ-возможностей: отслеживание объекта, распознавание лиц, распознавание объектов, отслеживание линий, распознавание цветов и меток. Заявлена совместимость с Arduino, micro:bit, Raspberry Pi и LattePanda, и, как мне кажется, открывает огромные просторы для создания своих решений. Модуль можно обучить под свои запросы без подключения к сети Интернет.

В инструкциях заявлено, что можно обучить модуль определённым жестам, что помимо банального употребления в «умных» домах может стать прорывом для людей с ограниченными возможностями (немых или глухих). Отслеживание линий или разметки и распознавание цвета —отличный вариант для разработки разнообразных дорожных решений. Применений миллионы.

Именно поэтому этот продукт получил от меня звание «швейцарского ножа». Умел бы ещё на машинке вышивать, цены бы ему не было! Хотя, если алгоритм распознавания линий загнать для чтения вязальных схем…, то может Матроскину и придётся потесниться на своем пьедестале.

Технические характеристики

• Процессор: Kendryte K210

• Датчик изображения: OV2640 (камера с разрешением 2,0 мегапикселя)

• Рабочее напряжение: 3,3~5,0 В

• Потребляемой ток: 320мА@3.3В, 230 мА @5.0В (в режиме распознавания лиц; 80% яркость подсветки; свет отключён)

• Интерфейсы: UART, I2C

• Дисплей: 2хдюймовый IPS экран с разрешением 320*240

• Встроенные алгоритмы: Распознавание лиц, Отслеживание объектов, Распознавание объектов, Отслеживание линий, Распознавание цветов, Распознавание меток

• Размеры: 52мм * 44.5мм / 2.05 x 1.75 дюймов

В заключении

Конечно, четыре образца – далеко не всё, что может предложить рынок ищущим, но на мой взгляд, именно эти являются неплохим началом и открывают богатые возможности по внедрению ИИ в нашу жизнь. А какие продукты привлекли ваше внимание? Буду благодарен, если поделитесь своими находками в комментариях.