Насколько хороши LLM?

И для чего мы решили создать бенчмарк для проверки рускоязычных LLM?

Неотъемлемой частью цифровой реальности стало использование больших языковых моделей (БЯМ, либо LLM, large language model). Именно благодаря им в нашей жизни появились различные умные устройства и системы, способные не только ответить на любой житейский вопрос, но и решить за нас задачу, написать научную статью или увлекательный роман, проверить код, да и просто поболтать и поддержать дружелюбную беседу. Однако, такого ли высокого уровня “профессионализма” достигли LLM и насколько качественную и достоверную информацию предоставляют данные «помощники» – об этом и поговорим.

Вас ждет серия статей, в которых мы расскажем:

1. Что такое LLM и почему интерес к ним распространился далеко за пределы научного сообщества?

2. Какое уникальное исследование провела группа исследователей Президентской Академии совместно с ИСП РАН  по оценке фактуальности LLM: бенчмарк Socio-political Landscape And Value Analysis (SLAVA)?

   • ссылка на открытый репозиторий

   • пространство 

   • набор данных

   

3. Какие перспективы для развития языковых моделей искусственного интеллекта  открывают результаты проведенного исследования Президентской Академии и ИСП РАН

Точкой отсчета особого интереса к языковым моделям ИИ стал март 2023 года, а именно — открытие публичного доступа к ChatGPT 4.0, что сделало LLM доступными широкой публике. На данный момент прогресс моделей искусственного интеллекта в контексте диалогового взаимодействия с пользователем очевиден. Возможность генерировать статьи, эссе, шутки и даже стихи в ответ на запросы – все это сделало ChatGPT самым быстрорастущим потребительским приложением в истории, согласно данным Reuters. Быстрое развитие мультимодальности, заложенной в версии Omni, привело к еще большей популяризации языковых моделей.

Почему важно проводить независимое оценивание языковых моделей ИИ и какие подводные камни при этом существуют?

Обучение LLM происходит на базе огромного набора данных. При этом стоит помнить, что современные реалии характеризуются высокой динамичностью изменений моделей и систем во всех сферах жизни, что порождает риски потери актуальности части информации при работе с LLM. Поэтому при работе с той или иной моделью необходимо понимать, что выданная моделью информация может быть уже неактуальной или неверной. Важно понимать, как отмечает Воронцов К.В. д.ф.-м.н., профессор РАН в своей работе,

Генеративные модели текста – это не интеллект, а новый языковой интерфейс, использующий все содержимое Интернета, которому характерна избыточность, неточность и противоречивость предоставляемой информации. 

Также большие языковые модели давно перестали быть точкой притяжения только узкого круга лиц: на данный момент большие языковые модели эффективно используются в различных отраслях, начиная от трансформации бизнес-процессов, организации здравоохранения, работы органов государственной власти, заканчивая подготовкой домашнего задания в школах и вузах.  LLM стали продуктом, выйдя за рамки исключительного научного интереса. Поэтому с ростом использования языковых моделей ИИ все большую значимость приобретает всестороннее и независимое оценивание «знаний» языковых моделей.

Бенчмарки в России

Примерами наиболее известных русскоязычных бенчмарков являются MERA, Russian SuperGLUE, Rulm-sbs2 и TAPE, основные темы заданий и типы задач представлены в таблице ниже. 

Данные бенчмарки охватывают достаточно широкий спектр тем. Каждое задание – представляет собой базу данных одного типа. Однако уже существующие в России бенчмарки зачастую не отвечают на значимые для российского общества вопросы по истории, обществознанию, политологии и географии, что затрудняет процесс проверки ответов моделей на вопросы важной направленности, а также глубины их знаний и представлений о мире.

Ниже приведены 28 примеров вопросов (очень похоже на ЕГЭ, не так ли?) и ответов на них 12 известных LLM.  Ответы моделей из России, Китая и США на подобные вопросы и побудили команду центра ИИ ИОН Президентской академии заняться вопросом более системно и создать собственный бенчмарк с целью оценки фактуальности LLM (забегая чуть вперед)

При этом важно учитывать низкий уровень доверия российского общества к большим языковым моделям в контексте понимания и использования русского языка.

Таким образом, несмотря на стремительное развитие больших языковых моделей и интенсивное их использование в различных сферах жизни, до сих пор остаются «белые пятна» в работе языковых моделях, что ставит вопрос валидации ответов перед российскими разработчиками особо остро.

Учитывая данные вызовы и стремясь иметь возможность независимо оценивать способности больших языковых моделей, поддерживающие работу с русским языком, отвечать на вопросы, значимые для российской истории, политики и действительности, Исследовательский центр ИИ ИОН Президентской академии первый среди других профильных институтов провел уникальное исследование по разработке тематического бенчмарка, специализирующегося на четырех направлениях: 

• история;

• обществознание; 

• политология;  

• география.

Бенчмарк исследовательского центра ИИ ИОН РАНХиГС

Основной целью данного бенчмарка является всесторонняя оценка возможностей русскоязычных LLM в контексте российской действительности по темам истории, географии, обществознания и политологии. В разработке бенчмарка ИОН РАНХиГС были заложены следующие принципы: 

1. Формирование базы вопросов из официальных источников, близких к позиции РФ. К данным источникам относятся базы вопросов по ЕГЭ по соответствующим дисциплинам, открытых экзаменационных вопросов ведущих российских вузов, а также вопросов, сформулированных специалистами РАНХиГС и ИСП РАН.

2. Ежеквартальный пересмотр содержания бенчмарка, заключающийся в добавлении новых вопросов по актуальным темам, удалении или обновление устаревших вопросов.

3. Пересмотр оценок провокационности с учетом изменений в общественном контексте.

Как вы уже знаете, бенчмарк называется SLAVA. Он включает более 14 тысяч вопросов, отражающих чувствительные темы в российском домене. Для каждого вопроса также измерялся параметр «провокативности«, отражающий потенциальную чувствительность темы для респондента. Мы провели оценку мультиязычных LLM на предмет их способности давать точные и культурно релевантные ответы в этих тематических областях.

Про то, как именно происходило формирование датасетов, из чего состоит фреймворк и каким образом происходили эксперименты, мы напишем во второй части 😉

Обратную связь будем рады услышать по почте bolovtsov-sv@ranepa.ru  а предложения по улучшению кода и бенчмарков в нашем репозитории.