В Национальный корпус русского языка добавили 11,3 млрд словоупотреблений из социальных сетей. Это позволит лингвистам исследовать современный русский язык на большом массиве новых данных.
Национальный корпус русского языка (НКРЯ) — крупный русскоязычный корпусный проект и научная инфраструктура для изучения русского языка. Проект существует 20 лет и объединяет 50 коллекций текстов разной тематики, жанров и исторических периодов. В создании и развитии НКРЯ участвуют лингвисты и разработчики из научных организаций, включая Институт русского языка имени В. В. Виноградова РАН, Институт проблем передачи информации РАН и другие организации. Программную и организационную поддержку проекту с момента его основания оказывает компания «Яндекс».
НКРЯ пополнился Генеральным интернет-корпусом русского языка. Это самое большое обновление в истории проекта. Общий объём корпуса вырос более чем в шесть раз: с 2,2 до 13,5 млрд словоупотреблений. Исследователи получили доступ к крупному набору неформальных русскоязычных текстов и могут изучать актуальные тенденции в языке.
Корпус текстов — это большая коллекция, собранная так, чтобы по ней было удобно изучать язык. В корпусе можно искать слова, выражения и грамматические формы и смотреть, в каких текстах и контекстах они встречаются. Также можно сравнивать употребление по годам, жанрам и группам говорящих. В отличие от обычного поиска в интернете, корпус показывает не отдельные случайные примеры, а системную картину языка на большом объёме данных. Поиск по НКРЯ доступен бесплатно через веб-интерфейс, а для разработчиков и исследовательских групп предусмотрен доступ по API.
В пополнение вошли тексты социальной сети «Вконтакте» за период с 2007 года до начала 2022 года. Социальные сети фиксируют устно-письменную речь. Люди пишут быстро, не всегда следуют литературной норме, используют разговорные конструкции, новые слова, локальную лексику, мемы и устойчивые выражения. Эти слова и выражения редко попадают в книги, газеты и официальные тексты.
Благодаря этому корпус показывает русский язык в живом употреблении. В нём представлены не только отредактированные публикации, но и повседневное общение. По корпусным данным можно проследить, когда новые слова и выражения входят в массовую речь, как быстро они распространяются и в какие годы особенно заметны. В том числе отслеживается популярность слова «годнота» и искажённых написаний с «-ффф-», например «афффтар» и «дефффчонки».
Добавление Генерального интернет-корпуса русского языка переводит НКРЯ в класс мегакорпусов. Так называют ресурсы объёмом 10 млрд словоупотреблений. Подобные ресурсы существуют для наиболее распространённых языков мира, например английского, китайского и французского.
ссылка на оригинал статьи https://habr.com/ru/articles/1060320/