Artificial Analysis запустила шесть отраслевых индексов, которые сравнивают ИИ-модели не по абстрактным тестам, а по задачам конкретных профессий: финансы и бухгалтерия (Finance & Accounting), юриспруденция (Legal), здравоохранение и медицина (Healthcare & Medical), стратегия и операционное управление (Strategy & Ops), инженерия (Engineering) и экономика (Economics). Первые места ожидаемо заняли закрытые флагманы, но главная интрига — в том, как близко подобрался опенсорс: GLM-5.2 (max) от Z AI лидирует среди открытых моделей в пяти из шести индексов.
Самый показательный результат GLM-5.2 — в инженерном индексе: 53 балла и пятое место в общем зачете, всего в двух пунктах от Claude Sonnet 5 (max) и GPT-5.5 (xhigh), у которых по 55. Единственный индекс, где опенсорс-лидерство ушло к другой модели, — Strategy & Ops: там лучшей открытой моделью стала DeepSeek V4 Pro (max) с 38 баллами.
Методология индексов построена на классификаторе профессий O*NET: аналитики берут типовые задачи каждой отрасли — от финансового моделирования до анализа договоров и поддержки клинических решений, — выводят из них требуемые способности, подбирают под каждую подходящие бенчмарки и взвешивают их по тому, как часто способность встречается в работе. Все замеры Artificial Analysis проводит самостоятельно.
Если смотреть на вершину таблиц, картина одинаковая везде: Claude Fable 5 (с фолбэком на Opus 4.8) занял первое место во всех восьми индексах, Claude Opus 4.8 (max) — второй в шести из восьми, GPT-5.5 (xhigh) — в двух оставшихся. А вот ниже второго места рейтинги заметно перетасовываются от отрасли к отрасли: за места борются Gemini 3.5 Flash, Gemini 3.1 Pro Preview, GPT-5.5, Claude Sonnet 5 (max) и та самая GLM-5.2.
За лидерство фронтира приходится платить в прямом смысле. В индексе Strategy & Ops задача для Claude Fable 5 стоит в среднем $3,48 — более чем в 100 раз дороже, чем у DeepSeek V4 Pro ($0,03), при разнице всего в 12 баллов. DeepSeek V4 Flash (max) и вовсе укладывается менее чем в $0,04 за задачу во всех шести индексах, показывая при этом средние по таблице результаты. GLM-5.2 со стоимостью задачи от $0,26 до $0,58 остается самым выгодным способом получить почти фронтирное качество.
Отраслевые индексы появились не на пустом месте: общие бенчмарки стремительно насыщаются, и в начале года Artificial Analysis уже пересобирала свой основной Intelligence Index, заменяя академические тесты оценками на «реальных» рабочих задачах вроде GDPval-AA. Новые индексы продолжают тот же сдвиг — от вопроса «насколько модель умная» к вопросу «насколько она полезна конкретному специалисту», и именно в этой системе координат разрыв между открытыми и закрытыми моделями выглядит все менее драматичным.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
ссылка на оригинал статьи https://habr.com/ru/articles/1056326/