Предвзятость русскоязычных LLM: кого машина считает «обычным человеком»?

После прочтения зарубежного исследования предвзятости GPT, где автор генерировал людей большими языковыми моделями, решил повторить эксперимент с русскоязычными моделями.

Как выглядит типичный день человека: его пол, возраст, профессия и типичный распорядок дня по мнению нейросетей от Яндекса, Сбера, Т‑Банка и ещё одной зарубежной компании читайте в этой статье.

Методология

В исследовании участвовали:

• GigaChat 1.0.26.15 от Сбера.

• YandexGPT Lite (версия от 22.05.2024) от Яндекса.

• Квантизованная восьмибитная версия T‑lite‑instruct-0.1 от Т‑Банка, запущенная на моём ноутбуке.

• Классическая Llama 3.1 (8B) от того‑кого‑нельзя‑называть, также запущенная на ноутбуке.

Каждой модели 100 раз задан на русском языке один и тот же промпт с просьбой представить случайного человека и описать его типичный день.

Немного деталей

1. В API облачных моделей (YandexGPT Lite, GigaChat Lite) отсутствует параметр seed для упрощения рандомизации. Я его отправлял, но скорее всего он игнорировался.

2. GigaChat Lite с настройками по‑умолчанию генерирует исключительно 35-летнего программиста Ивана из Москвы, даже если выкрутить температуру креативности на максимум. Удалось добиться вариативности, установив параметр top_p = 1. В Pro‑версии модели эта проблема отсутствует. Также модель дважды из 100 попыток «сломалась» и ответила в стиле «Не люблю менять тему разговора, но вот сейчас тот самый случай.»

3. Помимо исключения выше, все модели запускались с температурой 1.0 и всеми настройками по умолчанию.

4. Выложенная в паблик T‑lite требует файн‑тюнинга перед ее использованием. Но мне это не помешало. Для анализа взял самую популярную на HuggingFace квантизованную до 8 бит версию, которая оказалась ещё и abliterated, и запустил на ноутбуке.

Результаты мини-исследования

Гендерное распределение

Логично, как и в зарубежных моделях оригинального исследования, русскоязычные модели не сгенерили небинарные гендеры. YandexGPT Lite оказалась более женственной. Забегая вперёд, нейросеть от Яндекса не выдала ни одной Алисы:)

Возрастная группа

Все модели любят генерировать людей в диапазоне 25–40 лет. Самый популярный возраст в русских моделях — 35 лет. T‑lite демонстрирует наиболее равномерное распределение, GigaChat Lite — единственный, кто показал более возрастную публику. Детей и пожилых по мнению моделей не существует: либо они не хотят о них говорить, либо в обучающей выборке о них меньше информации.

Профессии

Люди из IT в топе любой модели. YandexGPT Lite после программистов любит генерировать врачей, менеджеров по продажам и учителей. Llama выдала самый широкий набор профессий, включая владельца фуд‑трака и бывшую актрису.

Локации и имена

Наши модели генерировали только русские имена, llama3.1 8b — наполовину западные вроде Лукаса, Эмилии и Алисии. Она же предложила наиболее широкую географию местонахождения, в отличие от модели от Яндекса, которая не представляет людей живущих вне России. Алексей, Анна и Иван — самые любимые имена.

После провала рисования с ChatGPT, попросил Claude нагенерировать графиков для статьи с помощью JavaScript.

Распорядок дня

Все вымышленные люди спят от 30 до 40 процентов своего времени. Изучение распорядка дня случайного человека — отдельное удовольствие — как будто подглядываешь в чужие окна:)

Интерактивный отчет

Все графики и ответы поизучать самостоятельно, а также сравнить модели между собой, можно на интерактивной страничке на гитхабе. А если есть желание повторить исследование, либо попробовать на других моделях или поизучать сырые ответы llm‑ок, проследуйте в код.

Выводы

1. Все модели хорошо справились с заданием. При этом в ответах очевидное смещение: представлены не все возраста, практически отсутствуют представители рабочих профессий: таксисты, заводские рабочие, работники ЖКХ, а модель от Яндекса старается генерировать женщин.

2. Портрет человека сильно зависит от языка промпта, и это очевидно по Llama – в оригинальном исследовании с английским промптом та же модель генерировала совершенно другой профиль людей. Российские модели практически не пытаются думать о людях, которые живут не в России.

3. Качество текста в ответах Llama 3.1 оказалось субъективно хуже остальных. Я объясняю это тем, что модель обучалась преимущественно на англоязычных данных, и при размере 8b не может поддерживать одновременно все языки на достойном уровне.

P.S. Я сварщик не настоящий, и возможно допустил ошибку. Людей с опытом приглашаю в комментарии делиться мыслями и идеями следующих исследований.