Адаптация языковой модели vosk

Приветствую, Хабр. В данной статье хочу рассмотреть процесс добавления слов в языковую модель vosk’а. (vosk — библиотека для распознавания речи, в основе которой kaldi). В русском сегменте подобных статей нет, а которые есть — неактуальны, поэтому, думаю, будет полезно.

Стоит отметить, что даже малая модель имеет под капотом достаточный запас слов, однако порой возникает необходимость в добавлении особой лексики, непредусмотренной библиотекой.

Процесс создания

Для удобства создаем директорию (в моем случае new-model), в которой мы будем работать, и переходим в нее. Теперь скачиваем родную малую русскую модель vosk’а, чтобы заменить в ней языковую модель, которая и отвечает за словарный запас. После скачивания разархивируем родную модель.

mkdir new-model && cd new-model wget "ttps://alphacephei.com/vosk/models/vosk-model-small-ru-0.22.zip" unzip vosk-model-small-ru-0.22.zip

Для генерации новой модели нам необходимо установить kaldi для необходимого инструментария.

git clone https://github.com/kaldi-asr/kaldi cd kaldi

Далее нам нужно установить утилиты, для этого переходим в директорию kaldi/tools.

cd tools

Проверяем необходимые зависимости, если в конце получили «Ok» — двигаемся дальше, если нет, устанавливаем необходимые зависимости, сам скрипт достаточно понятно говорит, что необходимо сделать.

extras/check.dependencies.sh

Устанавливаем основные утилиты, добавление маркера -j позволяет распараллелить задачу на указанное после маркера количество потоков.

make -j 4

Устанавливаем дополнительные утилиты irstlm и opengrm, без которых нам сегодня не обойтись.

extras/install_irstlm.sh extras/install_opengrm.sh

Чтобы установить srilm при помощи штатного скрипта, необходимо указать свою почту, имя и организацию, но запросы с российских ip блокируются. Поэтому нужно будет вручную скачать srilm в директорию, где находитесь в данный момент (kaldi/tools).
А штатный скрипт нужно будет изменить на модифицированный. Исправленный отличается лишь вырезанным в начале блоком кода, отвечающим за отправление запроса на сервер srilm. Далее приведены первые строчки обновленного скрипта, после которых различий с изначальным скриптом нет:

#!/usr/bin/env bash  current_path=`pwd` current_dir=`basename "$current_path"`  if [ "tools" != "$current_dir" ]; then     echo "You should run this script in tools/ directory!!"     exit 1 fi  if [ ! -d liblbfgs-1.10 ]; then     echo Installing libLBFGS library to support MaxEnt LMs     bash extras/install_liblbfgs.sh || exit 1 fi  ! command -v gawk > /dev/null && \    echo "GNU awk is not installed so SRILM will probably not work correctly: refusing to install" && exit 1;   mkdir -p srilm cd srilm  if [ -f ../srilm.tgz ]; then     tar -xvzf ../srilm.tgz || exit 1 # Old SRILM format elif [ -f ../srilm.tar.gz ]; then     tar -xvzf ../srilm.tar.gz || exit 1 # Changed format type from tgz to tar.gz fi  ... 

После этого запускаем его установку.

extras/install_srilm.sh

Продолжаем собирать инструментарий, но уже в папке src. Переходим в нее.

cd ../src

Используем следующие команды для сборки. после -j количество поток, как и ранее.

./configure --shared make depend -j 4 make -j 4

Выходим из src и отправляемся в директорию kaldi/egs/wsj/s5, в ней мы и будем работать:

cd ../egs/wsg/s5

Скачиваем исходные файлы нескомпилированной малой модели vosk’а и разархивируем ее.

wget "https://alphacephei.com/vosk/models/vosk-model-small-ru-0.22-compile.tar.gz" tar -xf vosk-model-small-ru-0.22-compile.tar.gz

Копируем содержимое файла kaldi/tools/env.sh и вставляем в конец файла kaldi/egs/wsj/s5/path.sh, который только разархивировался из модели vosk’а. После этого kaldi/egs/wsj/s5/path.sh должен выглядеть примерно так:

export KALDI_ROOT=`pwd`/../../.. export PATH=$PWD/utils:$KALDI_ROOT/src/bin:$KALDI_ROOT/tools/openfst/bin:$KALDI_ROOT/src/fs> export PATH=$KALDI_ROOT/tools/ngram-1.3.7/src/bin:$PATH export LD_LIBRARY_PATH=$KALDI_ROOT/tools/openfst/lib/fst/ export LC_ALL=C  export PATH=/home/arch/model_disk/kaldi/tools/python:${PATH} export IRSTLM=/home/arch/model_disk/kaldi/tools/irstlm export PATH=${PATH}:${IRSTLM}/bin export LIBLBFGS=/home/arch/model_disk/kaldi/tools/liblbfgs-1.10 export LD_LIBRARY_PATH=${LD_LIBRARY_PATH:-}:${LIBLBFGS}/lib/.libs export SRILM=/home/arch/model_disk/kaldi/tools/srilm export PATH=${PATH}:${SRILM}/bin:${SRILM}/bin/i686-m64 

Запускаем kaldi/egs/wsj/s5/path.sh, чтобы инициализировать пути к kaldi и его инструментарию.

./path.sh

Прописываем в файле kaldi/egs/wsj/s5/db/extra.txt словосочетания, которые вы хотите добавить в модель. Каждое словосочетание должно быть в новой строке и без знаков препинания, например

поставь эмоджи открой фейсбук

В данном случае мы добавляем слова «эмоджи» и «фейсбук».

Также, скорее всего, вам понадобится установить python-библиотеку phonetisaurus для скрипта далее.

pip install phonetisaurus

И наконец запускаем kaldi/egs/wsj/s5/compile-graph.sh, который сгенерирует нам модифицированную модель.

./compile-graph.sh

Модель сгенерирована. Теперь копируем из директории kaldi/egs/wsj/s5/exp/tdnn/lgraph/ файлы Gr.fst и HCLr.fst и вставляем их в родную модель, которую скачали в самом начале.

cp -f exp/tdnn/lgraph/Gr.fst exp/tdnn/lgraph/HCLr.fst ../../../../vosk-model-small-ru-0.22-compile/graph/

После этого в папке vosk-model-small-ru-0.22 будет модель, способная распознавать добавленные нами слова.

Успехов, и всего наилучшего.