Сервис изучения русского жестового языка с применением модели распознавания жестов

Всем доброго первого зимнего дня!

Меня зовут Рома, я проджект менеджер студенческой команды ПИН-КОД и это наша первая статья 🙂

Я хочу рассказать о нашем сервисе изучения РЖЯ и представить небольшой кусочек,
который вы сможете сами «пощупать».
Ссылка на демо (для нетерпеливых) *корректно отображается только на ноутбуке/ПК, модель распознавания может работать с задержками из-за высокой нагрузки.

А еще, это первая продуктовая история с моделью распознавания РЖЯ ?

С чего всё началось?

В августе 2023 года мы выиграли хакатон от Сбера (https://кодгорода300.рф/). На нём мы делали переводчик русского жестового языка для видеоконференций на базе ИИ-модели и большой языковой модели (LLM Gigachat) (об этом статья будет чуть позже), а сейчас, в рамках предмета «Проектный практикум» в любимом ИРИТ-РТФ Уральского Федерального, пилим сервис изучения РЖЯ с использованием этой же модели.

Краткое описание идеи

В нашем сервисе будет 3 основных раздела — «Обучение», «Практика» и «Словарь».

«Обучение» — пользователь смотрит гифки с жестами, читает само слово/предложение текстом, запоминает, а потом решает небольшие задания, которые генерируются случайным образом. Т.е. сначала идет теория, а потом задания на запоминание.

Макеты раздела «Обучение»

«Практика» — тут как раз и используется модель распознавания РЖЯ. Пользователь читает слово/предложение текстом, а потом должен показать его на жестовом языке. Модель отрабатывает и в случае правильно показанного жеста, отмечает слово зеленым и даёт пройти далее.

Макеты раздела «Практика»

«Словарь» — пользователь сможет не только просматривать гифки с жестовым языком, но и потренироваться в показывании жестов.

Макеты раздела «Словарь»

Конечно, на всё это сверху накручиваем небольшую геймификацию: уровень, достижения, растущее дерево в разделе «Обучение» (которое будет увеличиваться от уровня).

По итогу получаем сервис для изучения русского жестового языка.
(Ждём критики в комментариях ?)

Что под «капотом»?

1. Модель распознавания от команды Центра развития ИИ во благо общества Sber AI — её зарелизили в опенсорс буквально на прошлой неделе, велком пробовать свои силы 🙂

   Распознавание русского жестового языка: распознаём до 3+ жестов в секунду на обычном ПК без видеокарты

   https://github.com/ai-forever/easy_sign

2. Python API на вебсокетах для передачи видео из браузера в модель распознавания (flask-socketio) — его мы написали в рамках хакатона, а потом постоянно дорабатывали (даже сегодня)

3. Фронт на TS React — раньше писали на JS, в этом полугодии решили пересесть на что-то новенькое.

4. Мощненький сервер от яндекс.клауд и nginx на нём — чтоб API где-то крутилось и работало 🙂

   На этом стэк демо версии заканчивается, но в полном сервисе еще присутствуют:

5. Бэк на С# .Net, Docker, Postgress….

Что готово сейчас?

Мы успели подготовить интерфейс тренажера РЖЯ, чтобы показать возможности модели распознавания жестов и задумку нашего сервиса.
Сейчас этот тренажер доступен всем, нужно только иметь веб-камеру и интернет соединение.

Сервер с моделью распознавания будет включен до 6.12.2023, но чуть ниже есть гайд, как запустить всё на своём ПК.

Велком тестить и давать обратную связь 🙂

https://pincode-project.ru/ *корректно отображается только на ноутбуке/ПК, модель распознавания может работать с задержками из-за высокой нагрузки.

Наша команда

Роман Ахидов — проджект менеджер,
Константин Голунов — техлид бэка,
Данил Мухаметшин — бэк,
Максим Рожков — техлид фронта,
Ирина Туманова — фронт,
Любовь Крашенинникова — дизайнер.

Мой контакт — https://t.me/roma_cheby, буду рад критике и предложениям как в комментариях, так и в ЛС!