Особенности фонетики якутского языка для синтеза речи

Недавно мы закончили проект по синтезу якутского языка. Хотя наши договорённости не позволяют выложить нам модели в общий доступ, какими-то соображениями на тему того, как можно делать синтез якутского языка мы поделиться можем.

Под котом катом вы узнаете:

• Как звучит синтез на якутском языке;

• Чем отличается якутский алфавит от русского и какие «дополнительные» звуки там есть;

• Как работать с ударениями на якутском языке, с учетом полного отсутствия каких-либо корпусов или словарей;

• И, в качестве бонуса, как якутский синтез речи говорит на русском с якутским акцентом;

Фонетика якутского языка

Как звучит якутский язык?

Возможно вы никогда его не слышали (или не отдавали себе отчёт, что звучит именно якутский), но звучит он так:

Примеры синтеза на якутском языке

Это случайные фразы синтезированные на якутском. Если он для вас — родной, отпишите, пожалуйста, в комментариях.

Алфавит, дифтонги и длинные звуки

Начнём с простого, а именно с алфавита. Нам всем очень повезло, на самом деле. Ситуаций как со словами по типу the / though / thought / Thomas / eighth / lighthouse ни в русском, ни в якутском нет.

В русском как слышится так и пишется с учётом ударения (да, я понимаю, это огромное допущение), а в якутском так же, но ударение мало влияет на произношение слова. И большая часть звуков нам известна. Нам также повезло, что алфавит унифицирован с кириллицей и письмо фонетическое (современный алфавит существует с 1939 года и с тех пор официально не подвергался правкам).

Якутский алфавит:

Кириллица	IPA	Примечания
А а	[a]
Б б	[b]
В в	[v]	Только в заимствованных словах
Г г	[g]
Ҕ ҕ	[ɣ], [ʁ]	«Г с крюком» (фрикативный «г»)
Д д	[d]
Дь дь	[ɟ]	«Д с мягким знаком» (сверхмягкий «дь»)
Е е	[e], [je]	Только в заимствованных словах
Ё ё	[jo]	Только в заимствованных словах
Ж ж	[ʒ]	Только в заимствованных словах
З з	[z]	Только в заимствованных словах
И и	[i]
Й й	[j], [j̃]
К к	[k], [q]
Л л	[l]
М м	[m]
Н н	[n]
Ҥ ҥ	[ŋ]	Лигатура «нг» (заднеязычное «н»)
Нь нь	[ɲ]	«Н с мягким знаком» (сверхмягкое «н»)
О о	[o]
Ө ө	[ø]	«О с перекладиной»
П п	[p]
Р р	[r]
С с	[s]
Һ һ	[h]
Т т	[t]
У у	[u]
Ү ү	[y]	Прямая «у»
Ф ф	[f]	Только в заимствованных словах
Х х	[x]
Ц ц	[ʦ]	Только в заимствованных словах
Ч ч	[ʧ]
Ш ш	[ʃ]	Только в заимствованных словах
Щ щ	[ɕː]	Только в заимствованных словах
Ъ ъ	.	Только в заимствованных словах
Ы ы	[ɯ]	Заднеязычное, неогублённое «у»
Ь ь	[ʲ]	Только в заимствованных словах
Э э	[e]
Ю ю	[ju]	Только в заимствованных словах
Я я	[ja]	Только в заимствованных словах

Как мы видим, существенная часть алфавита вообще используется только в заимствованных словах (из русского языка в первую очередь), но также есть аж четыре разные группы «звуков», у которых нет аналогов в русском языке (ну или они совсем редкие или используются в заимствованных словах):

• дь и нь хоть формально и не являются буквами, но обозначают звуки ɟ и ŋ, аналогов которых в русском нет;

• Буквы ҕ, ҥ, ө, һ, ү обозначают звуки ɣ, ŋ, ø, h, y и не имеют аналогов в русском языке;

• Дифтонги ыа, уо, иэ и үө;

• Длинные звуки аа, оо, ыы, уу, ии, ээ, үү, өө;

Далее мы подробно пройдемся по каждому из звуков, приведём примеры его звучания и опишем понятными словами как он звучит и на что похож.

Также якутский на слух звучит немного «нараспев». Это происходит потому, что в якутском языке есть пять долгих гласных (аа, ыы, уу, ии, үү), встречающихся лишь в корне. Дифтонги, возникшие в результате соединения звуков, встречаются в любом слоге.

Употребление гласных звуков подчиняется правилу гармонии гласных, при котором гласные в слове следуют друг за другом в строго определённом порядке. Например, если в предыдущем слоге стоит звук ы, то в следующем может быть только ы или а, или ыа: ылыым, ылаар, ылыа.

Еще важно затронуть палатализацию («смягчение» согласных перед гласными звуками). В русском языке она встречается повсеместно. В якутском палатализация перед гласными и, э, ө, ү, иэ, үө — присутствует не у всех согласных. У л, м, т, c — присутствует. По поводу н — спорно, ведь есть звук нь.

Дополнительные буквы и звуки

Опишем звуки, которых нет в русском языке:

• Сочетание букв дь передаёт звук ɟ, который русскими буквами можно записать примерно как дьй;

• Сочетание букв нь передаёт звук ɲ, который похож нь или nʲ, однако нь — альвеолярный звук (передняя часть языка соприкасается с альвеолярным отростком), а в палатальном носовом согласном ɲ средняя часть языка соприкасается с твёрдым нёбом. Самый простой пример — тут английское слово onion или любое испанское слово с буквой ñ, например señor;

• Звук ɣ , передаваемый буквой ҕ, читателю скорее известен как звук между г и х из русских южных диалектов, или звук буквы г в словах господи, ага, Бог;

• Носовой звук ŋ передаваемый буквой ҥ, читателю скорее всего известен из английского языка в словах типа thing, заканчивающихся на -ing;

• Буква ө передаёт звук ø, который нам известен из «немецких слов с точками», например schön, и звучит как нечто среднее между о и у;

• Буква һ передаёт звук h, который читателю известен как английское «легкое» х на выдохе, например в слове high;

• Буква ү передаёт звук y, который вы наверное все слышали миллион раз в слове über в разных контекстах;

Послушать примеры слов с указанными звуками можно ниже:

Примеры новых звуков на якутском:

Дифтонги и длинные звуки

Фух, можно выдохнуть. По сути дифтонги это просто сочетания звуков, а долгие звуки это как будто два звука, идущих подряд. С этим связано ударение, но об этом чуть дальше.

Послушаем эти звуки.

Дифтонги и длинные звуки:

Ударения

Не секрет, что например на английском языке без перевода слов в фонемы в синтезе речи обойтись нельзя, потому что там пишется «понедельник, а читается четверг».

Мемы про английское прочтение слов:

В русском языке всё обстоит получше, но нужно знать ударение. Кроме редких примеров типа «солнце» или «дожди», если проставить ударение, чтение слова довольно однозначно.

Но как обстоят дела в якутском языке? Оказывается, что ударений как таковых в нём как будто бы нет. Мы задавали вопросы разным носителям языка и лингвистам, и не получили консенсуса. На Википедии на эту тему вообще написано что-то странное.

Естественно по причине того, что у языка мало носителей и из-за «простой» фонетики — мы не нашли публично доступных орфоэпических словарей или словарей с ударениями.

Но даже если ударения нет, нужно иметь систему, которая была бы совместима с русским языком, если например нужно будет вставить русское слово, не «адаптируя» его на якутский. А у русских слов нужно иметь возможность проставлять ударения.

По этой причине наш коллега, говорящий на якутском языке, сел отслушивать записи на якутском, и пришёл к выводу, что ударение несильное и падает или на все слоги сразу, или там где стоит дифтонг или двойная гласная.

Распарсив корпус слов, получившийся от анализа сайтов СМИ на якутском, мы смогли расставить «ударения» с помощью правил, чтобы они работали обратно совместимо с русским языком.

Моделирование

Так, отлично. Палатализация не очень ярко выражена, практически всё как слышится так и пишется, ударения можно не ставить, но мы лучше поставим.

По сути после записи корпусов речи на русском и якутском остается только ответить на ряд вопросов / гипотез, чтобы наконец определиться с дизайном системы синтеза речи:

• Использовать графемы или фонемы? Тут выбор точно в пользу графем. У обоих языков письмо «фонетическое»;

• В экспериментах с фонемами у нас лучше работали модели, где палатализация выделена в отдельный символ. А в экспериментах с графемами лучше работало … когда мы просто подавали графемы «как есть». Получается тут тоже особо без вариантов;

• Вопрос как подавать ударение по идее тоже не особо стоит — отдельным символом для обоих языков. Мы пробовали НЕ подавать ударения для якутского языка, но модель начинала «путаться». Если не подавать ударения в русский язык … ну можно не продолжать;

• По сути остаётся только решить как подавать дифтонги и длинные гласные. Мы пробовали как выделять отдельные символы на них, так и наивный способ, огромной разницы не увидели. Значит действуем по пути сокращения сущностей;

Получается, что если грамотно решить вопрос с ударениями, то можно получить простую в использовании систему синтеза языка, которая будет сразу работать на двух языках и позволит также «говорить на русском с якутским акцентом» и наоборот.

Русская речь с якутским акцентом

В качестве бонуса вот несколько аудио русской синтезированной речи с «якутским акцентом».

Речь на русском с якутским акцентом:

Итоги

Тут триллера особо не получилось, мы просто аккуратно исследовали предметную область и сделали синтез речи на якутском, который работает одновременно и на русском языке. Несмотря на кажущуюся экзотику или сложность, на самом деле нам очень «повезло» с фонетическим алфавитом языка и тем, что один из нас говорит на якутском.

Также нужно ещё отметить, что вопреки популярным трендам в духе «закинуть все данные в сетку на сотни миллиардов параметров», наша модель работает даже на 1-4 потоках процессора локально и показывает очень бодрые показатели скорости.

Скорость модели:

В таблице указаны секунды сгенерированного аудио в секунду.

Впереди нас ждёт ещё 8 языков, но там, к сожалению, так «просто» уже не будет …

PS

Долго боролся с хостингом аудио, некоторые файлы он не принимает вообще никак. Поэтому если кого-то очень заинтересуют все файлы, вот ссылка на гугл-диск.