Генеалогия AI safety: как рождаются направления и как они умирают (2005-2026)

Что это такое и как это читать

Обычно историю AI safety рассказывают складно и коротко. Сначала несколько философов забеспокоились из-за суперинтеллекта. Потом появились большие языковые модели, и многие переключились на alignment. Звучит логично — но именно поэтому из такой истории выпадает самое интересное. Стоит собрать вместе даты, людей, деньги и публикации, и она перестает сходиться. Направления появляются вразнобой: одни успевают войти в мейнстрим, другие тихо затухают, а деньги и внимание исследователей почти никогда не приходят одновременно — между ними обычно несколько лет разницы. Мне хотелось не просто описать этот разнобой на словах, а показать его на данных, поэтому базу я собрала сама, с нуля.

Дальше все опирается на таблицу: 323 события, 129 участников, 18 направлений. Она охватывает период с 2005 по июнь 2026 года, причем на 2026-й приходится только полгода, так что как полный год его читать не стоит. Рядом с таблицей — отдельный набор прокси-метрик внимания по arXiv (косвенная оценка: сколько статей по направлению выходит в год); он покрывает 23 направления. В каждой строке таблицы — один проверяемый факт со ссылкой на первоисточник, а рядом помечены год, участник, направление, тип, сумма и источник. На этой таблице построены все графики ниже. И почти нигде картина не складывается в прямую линию: стоит отсортировать события по годам, по деньгам, по вниманию, и видно, как появляются новые направления, как часть из них дорастает до мейнстрима, часть затихает, а деньги и исследования упорно расходятся во времени.

Главные выводы

Из данных получилось два типа выводов. Одни просто подтверждают цифрами то, что в поле и так примерно знали. Другие меня удивили — с них и начну.

Что удивило:

Деньги и внимание почти не пересекаются. К направлению интерпретируемости интереса примерно в 37 раз больше, чем можно было бы ожидать при его скромном финансировании около $1 млн. С governance все наоборот: там деньги шли впереди публикаций. То есть финансирование и исследования почти никогда не совпадают по времени.
Примерно к 2023 году государственные деньги обошли филантропию. Раньше поле держалось по сути на одном доноре, а полдюжины национальных институтов — UK AISI, ARIA, Канада, Австралия, NSF, ЕС — за пару лет сделали его международным и все более государственным. А рядом появились деньги другого рода: около $268 млн венчурных инвестиций в safety-стартапы, то есть деньги, которые ждут возврата, а не гранта.
То, что называют консолидацией, на деле скорее разрастание. Внимание и деньги действительно стягиваются к нескольким именам, но при этом 2024 год стал рекордным по числу новых организаций: их появилось 24, в основном небольшие команды по одному-пять человек — интерпретируемость, AI security, мониторинг chain-of-thought.
Слово “Safety” постепенно уходит из названий. Только за 2025 год UK AI Safety Institute стал AI Security Institute, US AI Safety Institute — CAISI, а Open Philanthropy, с которой все начиналось, сменила имя на Coefficient Giving.
Затихнуть — не то же самое, что умереть. У reward modeling последнее собственное событие относится к 2017 году, но под названием RLHF направление дожило до 2025-го. Чаще всего направление не исчезает, а растворяется в чем-то большем или уходит на второй план.

Что подтвердилось — теперь с цифрами:

Центр тяжести сместился от философии к практике. Доля событий из группы foundations-and-strategy упала с 67% в 2005-2013 годах до 6% к 2024-2026, а техническая safety выросла примерно до 60% и стянулась к нескольким игрокам; самый связанный узел — Anthropic.
RLHF победила и растворилась в обычном ML. Ее arXiv-прокси вырос с 25 статей в 2021 году до 1777 в 2025-м — как раз потому, что она перестала быть темой safety и стала стандартной практикой.
После ChatGPT резко выросла governance. Деньги на этом направлении выросли с $0.4 млн в 2018 году до $18.4 млн в 2023-м — примерно в 46 раз за пять лет.

События по организациям и направлениям с 2005 по 2026

Каждая точка — это одно событие. Организации по вертикали расставлены по году появления, поэтому точки выстраиваются в диагональ — из левого нижнего угла в правый верхний. Цвет направления задан по году его появления, так что общий тон картинки со временем плавно меняется, и это заметно сразу. Нижняя панель — те же события, но собранные по направлениям и годам, в тех же цветах; видно, как активность смещается от ранней макростратегии и agent foundations к более поздним интерпретируемости, evaluations и AI control. Эпохи выделены штриховкой, звездочки отмечают ключевые статьи. (интерактив).

Таймлайн отсортирован по началу направления, но по нему не видно, кто дожил до сегодня. Для этого есть отдельный график — продолжительность жизни: линия от рождения направления до его последнего события, направления упорядочены по году появления. Тут важно помнить: если позднего события нет, это еще не значит, что направление мертво (снова та же плотность сбора). Поэтому на графике есть отдельный сигнал — ромб на том последнем годе, когда по направлению еще выходят статьи на arXiv (для направлений, по которым такие статьи вообще есть). Так что направление может замолчать в моей базе событий и при этом оставаться живым.

Как каждое направление идет от первого события к последнему, с ромбом на последнем годе на arXiv

Линия идет от первого события направления до последнего, а ромб отмечает последний год, когда по нему еще выходят статьи на arXiv — это независимая метрика по 23 направлениям. Эти две точки часто не совпадают. У reward modeling последнее событие — 2017 год, но статьи, теперь уже под маркой RLHF, идут до 2025-го. Value learning как отдельные события затихло к 2021 году, а agent foundations к 2024-му сжалось до единственной отметки — разворота MIRI. Но и то, и другое живо на arXiv. Так что направление редко просто умирает: чаще он растворяется или уходит в фон. Подробнее об этом — в главе про сквозные паттерны, после эпох. (интерактив).

Вот еще один взгляд на направления во времени — теперь считаем число событий в базе по годам:

Появление направлений по числу событий за год

Закрашенные области показывают, сколько событий по каждому направлению попало в базу за год. Последние годы (в 2026-м пока только полгода) заштрихованы как неполные, так что смотрите на форму и порядок появления, а не на абсолютные числа. До 2012-2013 годов поле почти пустое. Потом, в 2015-2017, оно быстро наполняется первыми техническими направлениями. А с 2021 по 2024 продолжает расти: поверх старых направлений появляются новые — evaluations, AI control, model organisms. (интерактив).

Еще одна общая карта сводит весь маршрут вместе и показывает, как потоки идут от эпохи к организации и дальше к направлению.

Аллювиальная карта от эпохи к организации и к направлению

(интерактив).

На первый взгляд это просто мешанина. В среднем столбце больше сотни организаций — около 115, — ленты пересекаются, и охватить все сразу невозможно. Да этого и не требуется: эта картинка тут скорее чтобы показать масштаб. Поэтому свернем ее в крупные блоки: те же примерно 115 организаций — в семь типов участников (исследовательницы и исследователи, фонды, policy-институты, обучение талантов, индустрия, мета-организации и сообщество, государственные органы), а 17 направлений — в четыре группы:

Foundations и strategy — это макростратегия, agent foundations, value learning и прогнозирование.
Техническая safety — интерпретируемость, evaluations, AI control, RLHF, scalable oversight, model organisms, robustness и подобное.
Governance и инфраструктура — governance, field-building и нормы раскрытия.
Capabilities — рост возможностей самих моделей.

Дальше та же картина показана в двух срезах, каждый отвечает на свой вопрос: один показывает весь маршрут целиком, другой проходит его шаг за шагом.

Первый срез — общая карта. Три оси идут слева направо: от эпохи (когда) к типу участника (кто) и дальше к группе направлений (над чем). По цвету ленты сразу видно, какая группа преобладала и как со временем менялась картина.

Общая карта от эпохи к типу участника и к группе направлений

Цветом показана группа направлений, а числа — это неденежные события. Сразу бросается в глаза диагональ: синие ленты foundations и strategy держатся слева, в ранних эпохах, а оранжевая техническая safety набирает вес ближе к правому краю. (интерактив).

Второй срез — по эпохам. Тот же поток, но по одной мини-панели на каждую эпоху. Центр тяжести смещается от панели к панели, и в каждый период преобладает какая-то одна группа.

По эпохам, от типа участника к группе направлений

Каждая панель — это одна эпоха, поток идет от типа участника к группе направлений, а ширина ленты — число событий. С 2005 по 2016 год правят синие foundations и strategy. А с 2020-х на панелях начинает преобладать оранжевая техническая safety. (интерактив).

Есть и третий срез — два простых двухуровневых потока рядом, они отдельно разбирают когда и кто.

Два среза: эпоха к группе и тип участника к группе

Слева поток идет от эпохи к группе направлений — видно, как со временем менялся фокус поля. Справа — от типа участника к группе, то есть кто чем занимается. Ширина ленты снова равна числу неденежных событий. Слева оранжевая техническая safety набирает вес к поздним эпохам. Справа исследователи и индустрия тянут в основном к технической safety, а государственные органы и policy-институты — к governance и инфраструктуре. (интерактив).

Блоки-эпохи показывают, куда смещается центр тяжести поля. Число рядом с каждой эпохой — это сколько неденежных событий на нее пришлось:

Предыстория, 2005-2012. Поле почти пустое — всего пять событий: первые макростратегические институты (FHI в 2005-м, GCRI в 2011-м), основание MIRI под agent foundations в 2005-м и самые ранние узлы из capabilities и сообщества (DeepMind в 2010-м, CFAR в 2012-м). Пока это философские вопросы, без индустрии за спиной.
Фаза основания, 2013-2016. Макростратегия все еще главная — 10 событий из 27, — но рядом уже появляются первые технические работы и инфраструктура. Ключевые узлы здесь — FLI, MIRI и первая Open Philanthropy.
Институционализация, 2017-2019. Резко прибавляется field-building (10 событий) и governance (4), а центр тяжести переходит к OpenAI, Paul Christiano и GovAI — поле начинает строить настоящие институты.
Прозаический поворот, 2020-2021. Инфраструктура пока лидирует (6 событий), но впервые отдельными лентами выделяются интерпретируемость и AI control. Новые узлы — Anthropic и Redwood.
Масштаб и ChatGPT, 2022-2023. Плотный блок из 33 событий: field-building (12), governance (5), evaluations (4), интерпретируемость (3), AI control (2). В центре — FTX Future Fund, Anthropic, CAIS и ARC Evals.
Консолидация, 2024-2026. Это самый плотный блок во всей базе — 82 неденежных события с 2024 года по первую половину 2026-го. Больше всего здесь governance (26 событий) — череда саммитов, законов и обязательств. За ней идут технические группы: интерпретируемость (12) и evaluations (12), затем robustness (9) и model organisms (6). По числу событий впереди всех один узел — Anthropic (9). И вместо того чтобы сжаться, поле разрослось: 2024 год стал рекордным по новым организациям — 24 против 7 в 2025-м, в основном узкие команды. По интерпретируемости появлялись команды вроде Goodfire, Transluce, Guide Labs, Tilde, Simplex и Decode; по AI security и evaluations — Palisade, Gray Swan, Virtue AI; мониторингом chain-of-thought занялась Geodesic, а Bengio запустил LawZero вокруг “Scientist AI”.

В этом и весь сюжет поста: движение из левого нижнего угла (философия, одинокие институты) в правый верхний (практика, а внимание и деньги стягиваются к Anthropic и safety-институтам). Но концентрация внимания — это еще не концентрация организаций. В последнюю эпоху поле, наоборот, разрастается на десятки узких организаций (2024-й — рекордный по основаниям год в базе). Дальше разберу все это по эпохам.

Изменилось и то, из чего вообще состоят эпохи. В предысторию (2005-2012) это на 100% основания организаций: ни статей, ни грантов еще нет. Публикации, гранты и заявления о финансировании появляются только с 2013 года. А к последней эпохе на основания приходится уже лишь около 28% — остальное это куда более разнообразный набор событий.

Состав типов событий по эпохам (доли до 100%)

График показывает, какую долю в каждой эпохе занимают разные типы событий — основания, публикации, гранты, заявления. (интерактив).

И, наконец, как все это менялось от эпохи к эпохе, в одном кадре: четыре сопоставимые панели, где пять эпох идут по горизонтали (те же пять содержательных частей, что ниже).

Как поле менялось по эпохам: группы направлений, участники, деньги и динамика организаций

Панели читаются слева направо и сверху вниз. Первая показывает группы направлений как долю событий каждой эпохи (из 100%): синие foundations и strategy начинают с 67% в 2005-2013 годах и сжимаются до 6% к 2024-2026, а оранжевая техническая safety вырастает примерно до 60%. Над столбцами подписано общее число событий эпохи, чтобы за долями не потерялся примерно десятикратный рост поля. Вторая панель так же разбирает типы участников — их семь. В начале это почти сплошь исследователи (56% в 2005-2013). Фонды выделяются в отдельную силу в 2014-2019 годах (24%). А к 2024-2026 картина меняется целиком: государство вырастает с нуля до 24%, индустрия — до 26%, и они уже сопоставимы с исследователями (29%). То есть последнюю эпоху двигают государство и лаборатории, а не только филантропия. Третья панель — деньги по фондам, то есть сумма всех отдельных грантов за эпоху, всего примерно $764 млн. Шесть давних филантропических фондов (OpenPhil, SFF, FTX, FLI, LTFF и Tallinn) сохраняют свои цвета, а более новые государственные и международные деньги (UK AISI — $159 млн, ARIA — $74 млн, Канада — $36.5 млн, NSF — $20 млн, Австралия — $19.7 млн и так далее) собраны в одну серую полосу. Рост тут виден от начала до конца: около $0 в начале, примерно $128 млн в 2014-2019 годах (в основном филантропия), около $242 млн в 2022-2023 и около $335 млн в 2024-2026, где уже преобладает серая государственная полоса. Четвертая панель — динамика организаций: новых организаций становится больше, а закрытий и разворотов меньше. Оговорка про деньги: на этой панели учтены только отдельные гранты — без годовых итогов доноров и обещаний. Так одни и те же деньги не считаются дважды. (интерактив).

Рождение и затухание отдельных направлений уже видно выше, на графике продолжительности жизни, а сквозные графики денег и внимания за все годы собраны в главе про сквозные паттерны, сразу после эпох. А теперь пройдем те же пять эпох по порядку и словами.

Эпоха 1, предыстория и рождение (2005-2013): вопрос без инструментов

В этой эпохе 9 событий, а рождение и затухание ее направлений видно на графике продолжительности жизни выше.

Все начинается не с нейросетей, а с философского вопроса: как не разрушить далекое будущее человечества? В 2005 году в Оксфорде открывается Future of Humanity Institute (FHI, Nick Bostrom) — самая ранняя точка в базе. Вокруг него складывается то, что я в этом посте называю макростратегией: самое широкое философское рассуждение о глобальных рисках. Дальше подтягиваются GCRI (2011), CSER (Кембридж, 2013), FRI (2013) и CFI (2015). По числу событий макростратегия выходит на пик к середине 2010-х.

Второй корень — математический. В 2013 году MIRI разворачивается от просветительской работы к friendly AI как строгой математике (теория принятия решений, логическая индукция). Так рождается agent foundations — попытка понять идеализированного агента еще до того, как его кто-нибудь построит.

Денег на этом этапе в таблице почти нет. Есть вопрос и есть первые исследования, но нет ни индустрии, ни потока грантов. Ранние узлы (FHI, GCRI, FRI) к этому моменту работают уже несколько лет, и ни один из них пока не закрылся. Это видно на диаграмме продолжительности жизни организаций — она в главе про сквозные паттерны, после эпох.

Эпоха 2, институционализация и первый крупный фонд (2014-2019): появляются деньги

В этой эпохе впервые заполняется денежная панель, и OpenPhil сразу выходит вперед.

Переломный момент — январь 2015 года: конференция FLI в Пуэрто-Рико (“Future of AI”), которую Nate Soares позже так и назовет. Из нее выходит открытое письмо, а вместе с ним — первый крупный донор поля, Open Philanthropy.

На накопленных деньгах по фондам (сводные графики — в главе про сквозные паттерны) картина однозначная: в финансировании всего поля преобладает OpenPhil. По годовым итогам ее вложения в техническую safety растут с $1.19 млн в 2015 году до $6.56 млн в 2016-м, потом до $43.2 млн в 2017-м и до пика в $81.7 млн в 2021-м. Правда, скачок 2017 года — это в основном один грант: $30 млн на общую поддержку OpenAI в марте. То есть пик расходов может быть одной крупной ставкой, а не множеством исследований.

В эти же годы рождается governance: политика, институты, AI governance. В 2019 году OpenPhil вкладывает $55 млн на пять лет в создание CSET (Джорджтаун) — крупнейший governance-грант эпохи. Параллельно идет value learning: центр Stuart Russell — CHAI (Беркли, 2016), который OpenPhil сразу поддерживает грантом $5.6 млн на два года.

Куда деньги ушли на самом деле, по направлениям и годам, лучше всего видно по отдельным грантам — без суммарных итогов доноров, которые задваивали бы одни и те же доллары. Подробные разбивки по направлениям — в главе про сквозные паттерны. Одна цифра заметна уже сейчас: на field-building (инфраструктура — фонды, стипендии) приходится $326.1 млн отдельных грантов, это крупнейший денежный поток поля: сюда входят и крупные государственные программы — вроде таскфорса UK AISI и новых регрантеров. На этом фоне остальные направления почти теряются.

Эпоха 3, прозаический поворот (2020-2021): большие модели все меняют

В этой эпохе центр тяжести заметно смещается в техническую safety.

К 2020 году стало понятно: если сильный AI и появится, то из больших нейросетей, а не из чистой теории агентов. Поэтому поле поворачивается к prosaic alignment — работе с реальными моделями. Почти одновременно происходят три перемены:

Рождается mechanistic interpretability. В марте 2020 года выходят “Circuits” (Chris Olah, на distill), в 2021-м — Transformer Circuits. По очищенному arXiv-прокси (mechanistic interpretability, sparse autoencoders и probing — после того как я выбросила голое слово interpretability, под которое попадал почти весь общий ML) внимание уже растет: примерно с 34 статей в 2020 году до 69 в 2021-м, а дальше круче — 125, 257 и 657 к 2025-му. И этот ранний рост оказывается только началом.
Reward modeling превращается в RLHF как технику — с понятной линией от Concrete Problems (2016) к Deep RL from Human Preferences (Christiano и Leike, 2017).
Agent foundations затухает. Абстрактная теория агентов, безразличная к deep learning, все меньше интересует доноров в эпоху, когда все решает практическая работа с LLM. Отдельные события на направлении редеют после 2021 года и оставляют лишь одну отметку в 2024-м (разворот MIRI). Дальше направление держится в основном как фон, а не как новые события.

Как год за годом меняется главный донор и как доли смещаются от ранних технических ставок к governance и инфраструктуре — это видно на сквозном денежном графике (абсолютные деньги по направлениям). Он лежит в главе про сквозные паттерны — так его удобнее читать сразу по всему полю, а не по одной эпохе. Там же лежат и кривые внимания по направлениям (arXiv-прокси); кривая направления интерпретируемости на них начинается как раз около 2020-2021 годов.

Эпоха 4, момент ChatGPT и шок FTX (2022-2023): деньги, институты, разрыв

В этой эпохе деньги идут уже из нескольких фондов сразу (SFF, OpenPhil, FTX), а среди участников заметно прибавляют институты и индустрия.

В конце 2022 года ChatGPT вывел AI в большую политику и в массовое сознание. В таблице это отзывается всплеском сразу на нескольких направлениях:

Evaluations — оценки опасных возможностей: ARC Evals (Beth Barnes, 2022), затем Apollo Research (2023), предрелизные проверки GPT-4 и Claude, а также британский и американский safety-институты в 2023 году, вокруг саммита в Bletchley.
AI control — направление Redwood. Организация основана в июне 2021 года, а к 2023-му у нее уже оформленная повестка control research. Денег много: OpenPhil дала Redwood $9.4 млн в 2021 году, $10.7 млн в 2022-м и $5.3 млн в 2023-м, плюс еще $6.6 млн от FTX в июле 2022-го.
Резкий рост governance. На этом направлении деньги выросли с $0.4 млн в 2018 году до $1.5 млн в 2020-м, затем $3.6 млн в 2021-м, $10.3 млн в 2022-м и $18.4 млн в 2023-м — примерно в 46 раз за пять лет. Для сравнения: техническая safety в 2023 году — это $24.6 млн, все еще больше.

А потом — удар. В ноябре 2022 года рушится FTX. За полгода (с февраля по август 2022-го) FTX Future Fund раздал на AI safety $18.7 млн напрямую, а по оценкам — около $32 млн в целом. Теперь этот источник отрезан, а часть грантов даже приходится возвращать. На сквозном накопленном графике линия FTX останавливается на 2022 годе и больше не растет. Рождения и закрытия организаций по годам — на сводном графике динамики организаций там же, и на панели динамики в обзорном графике по эпохам.

Эпоха 5, консолидация и финал (2024-2026): Safety исчезает из названий

В этой эпохе консолидация больше похожа на продолжение активности: по динамике организаций тут рекордные 31 рождение против 8 закрытий или разворотов.

Последняя эпоха в данных — это одновременно и сворачивание, и переопределение.

В апреле 2024 года закрывается FHI — институт, с которого все и началось.
В мае 2024 года OpenAI распускает команду Superalignment (ее объявили в июле 2023-го с обещанием отдать 20% вычислений на четыре года) — после ухода Sutskever и Leike. Scalable oversight теряет главную институциональную опору.
В 2024 году MIRI, из которой когда-то выросло agent foundations, официально разворачивается от технических исследований к коммуникациям и политике. Старейшее фундаментальное направление уходит со сцены исследований — но не потому, что вопрос решен, а потому, что организация-носитель просто сменила миссию.
В 2025 году слово Safety исчезает из названий safety-институтов. В феврале UK AI Safety Institute становится AI Security Institute, а US AI Safety Institute при NIST — CAISI (Center for AI Standards and Innovation). Safety уступает место standards и пониманию safety как security.
В ноябре 2025 года меняет имя и главный фонд. Open Philanthropy становится Coefficient Giving (объявлено 18 ноября 2025 года) и перестраивается в 13 тематических мультидонорских фондов вместо одного якорного донора — Good Ventures. То есть источник денег, с которого начиналась институционализация поля, тоже меняет название — вслед за тем, как Safety уходит из названий институтов.

Но по сути эта консолидация и есть специализация вместе с разрастанием. 2024 год стал в базе рекордным по числу основанных организаций — 24 события. Интерпретируемость коммерциализируется и распадается на стартапы: Goodfire, Transluce, Guide Labs, Tilde, Simplex, Decode Research. Отдельно растет кластер вокруг AI security и evaluations — Palisade Research, Gray Swan AI, Virtue AI. Под каждую новую подповестку появляется своя команда: Geodesic занялась мониторингом chain-of-thought, Luthien — практическим AI control, Softmax — multi-agent alignment, Formation Research — риском lock-in, а Yoshua Bengio в июне 2025 года запустил LawZero вокруг неагентного “Scientist AI” как слоя надзора. Свои команды заводят и крупные компании: в 2025 году Meta собрала группу “superintelligence alignment and safety”. Параллельно растет и нетехническая инфраструктура: прогнозная группа AI Futures Project (Kokotajlo, сценарий “AI 2027”), наблюдатель AI Lab Watch, стандартизаторы AI Standards Labs, национальные центры (Beijing Institute of AI Safety and Governance, французский CeSIA), международная ассоциация IASEAI и AI Whistleblower Initiative.

Governance перестает быть фоном и выходит на первый план. На нее приходится треть событий блока — 26 из 82 неденежных, — и события идут все плотнее, от саммита к саммиту. Началось все с Bletchley в ноябре 2023 года. Через полгода — AI Seoul Summit (май 2024): 16 фронтир-компаний подписывают Frontier AI Safety Commitments и обещают каждая опубликовать свою рамку safety с порогами риска, а 27 стран и ЕС на Seoul Ministerial впервые договариваются вырабатывать общие пороги для тяжелых рисков. 1 августа 2024 года вступает в силу EU AI Act — первый в мире широкий горизонтальный закон об AI, с правилами для GPAI с августа 2025-го и отдельным GPAI Code of Practice. В США жесткий закон буксует: калифорнийский SB 1047 (тесты, kill switch, ответственность) губернатор Newsom ветирует в сентябре 2024 года. А в январе 2025-го федеральный курс и вовсе разворачивается от safety к доминированию: Biden отменяет свой указ об AI и подписывает “Removing Barriers to American Leadership in AI”. Ближе к концу 2025 года Калифорния заходит на второй круг — с куда более мягким SB 53 про прозрачность. Свое строит и индустрия: в 2023 году появляется Frontier Model Forum, а при нем AI Safety Fund больше чем на $10 млн — раунды по $4 млн в ноябре 2024-го и больше $5.2 млн в декабре 2025-го. Складывается и что-то вроде IPCC для AI: International AI Safety Report прошел путь от промежуточной версии в мае 2024 года до полного отчета под руководством Bengio в январе 2025-го — и вышел прямо перед AI Action Summit в Париже в феврале 2025 года, где тон уже сместился с safety к action и внедрению.

Не стоят на месте и технические направления. Интерпретируемость получает новый импульс: Scaling Monosemanticity (Anthropic, май 2024, тот самый “Golden Gate Claude”), затем Gemma Scope (DeepMind, июль 2024) — открытый набор SAE, который выложили как публичную инфраструктуру, — потом circuit tracing и “On the Biology of a Large Language Model” (март 2025). Тогда же, в марте 2025 года, Anthropic выпускает “Auditing Language Models for Hidden Objectives” — первую настоящую audit game, где цель прячут в модель, а потом ищут вслепую. Самое молодое направление, model organisms, растет вокруг эмпирики обмана: Sleeper Agents (январь 2024), Sabotage Evaluations (Anthropic, октябрь 2024), “In-Context Scheming” от Apollo (декабрь 2024), где scheming проявился у 5 из 6 фронтир-моделей, Alignment Faking (декабрь 2024) и Agentic Misalignment (Anthropic, июнь 2025), где 16 моделей под стресс-тестом шли на шантаж и слив конфиденциальных данных, лишь бы их не отключили. В отдельный жанр выросли и рамки безопасного масштабирования: DeepMind публикует Frontier Safety Framework в мае 2024 года, а Anthropic в том же октябре переписывает свою Responsible Scaling Policy. Scalable oversight после закрытия Superalignment лишается своей главной площадки, но не исчезает: исследователи пересобирают ее цели в других проектах. В декабре 2024 года OpenAI показывает Deliberative Alignment, а следующей осенью вместе с Apollo выпускает anti-scheming training, которое снизило скрытые действия примерно в 30 раз, но так и не убрало их совсем. Отсюда вырастают agentic control evaluations, в том числе Ctrl-Z от Redwood (апрель 2025). А в июле 2025 года все это сходится в одной точке: OpenAI, DeepMind, Anthropic и UK AISI вместе подписывают позиционную статью “Chain of Thought Monitorability” — о том, что беречь узкое окно, через которое пока видно рассуждения модели, это общая ответственность. Первую половину 2026 года поле идет примерно так же, и в датасете есть данные только за H1.

Интерпретируемость идет дальше. 7 мая 2026 года Anthropic выпустила “Natural Language Autoencoders” — метод, который переводит внутренние активации модели в читаемый текст. На предрелизном аудите Claude Opus 4.6 он поймал у модели evaluation awareness: та понимала, что ее тестируют, в 16-26% бенчмарк-транскриптов и меньше чем в 1% реального трафика. Так интерпретируемость окончательно стала частью релизного цикла, а не побочным проектом.
Evaluations поворачиваются к security. UK AI Security Institute отчитался, что Claude Mythos Preview первой из моделей прошла 32-шаговый сценарий сетевой атаки “The Last Ones” — 13 апреля, а 30 апреля тот же рубеж взяла GPT-5.5. Переименование 2025 года из Safety в Security оказалось не просто сменой вывески: повестка и правда сместилась к автономному кибер-риску.
На политическом фронте в мае 2026 года ЕС предварительно согласовал “Digital Omnibus” — первый пакет поправок к AI Act; правда, обязательства для GPAI-моделей он оставил как есть.

Сквозные паттерны: деньги, внимание и три судьбы направления

Пройдя поле по эпохам, стоит отступить на шаг и посмотреть сразу на все годы: часть закономерностей видна только так, а при нарезке по эпохам они теряются. Самое запутанное здесь — деньги, с них и начну.

Четыре способа посчитать деньги — и почему у одного фонда получаются разные суммы. Деньги я считаю четырьмя разными способами и намеренно не складываю их между собой: иначе одни и те же суммы посчитались бы дважды. По сути это просто четыре способа посмотреть на одни и те же деньги.

Первый способ — считать отдельные гранты, всего $763.6 млн. Это настоящие адресные гранты, записанные по мере выдачи. Их целиком видно на графике денег по направлениям (столбцы — это направления, плюс серая полоса для грантов без направления, $83.6 млн) и на обеих диаграммах. На радар и на график «деньги против внимания» по направлениям попадает только та часть, у которой направление указано, — $680.0 млн. У остального направления нет: это гранты, отнесенные к общей категории (mixed-technical или technical-safety), плюс один грант на capabilities — вместе $83.6 млн.

Второй способ — брать годовые итоги доноров. Это полный бюджет донора за год, одна общая цифра, а не сумма его подкатегорий. Так на графике накопленных денег по фондам показаны OpenPhil (около $304.5 млн) и LTFF (около $3.64 млн), а все прочие фонды — по своим отдельным грантам. Эти два итога доходят до 2024 года на общем графике «деньги против внимания»; итоги за 2025-й и дальше пока не опубликованы, а вот по отдельным грантам данные есть и после этого.

Третий способ — венчурные деньги (VC и equity), $268.5 млн. Они приходят пятью раундами, ждут возврата и показаны только на третьей панели графика накопленных денег; с первыми двумя способами их не складываю.

Четвертый способ — обещания, бюджеты и оценки. Они идут просто как контекст и тоже ни с чем не суммируются, потому что это не выданные гранты: стартовое обещание FTX около $160 млн против реально выданных $18.7 млн, годовые бюджеты организаций вроде MIRI, CHAI и CSER, приблизительные оценки по всему полю — например, около $40 млн, потраченных EA в 2019 году.

Деньги по всему полю. Исторически главным фондом была OpenPhil — $176.77 млн отдельных грантов. Но со временем ее догнали и обошли государственные деньги сразу полудюжины стран. UK AISI вместе со своим таскфорсом дает около $159 млн (£100 млн плюс Alignment Project), сразу за ним ARIA Safeguarded AI — $74 млн. Дальше длинный хвост: Канада CAISI — $36.5 млн, NSF Safe Learning-Enabled Systems — $20 млн, Австралия AISI — $19.7 млн, US AISI при NIST — $10 млн, DARPA GARD — $10 млн, EU AI Office — $9.8 млн. Рядом стоит SFF — $144 млн. А FTX обрывается в конце 2022 года. То есть на смену картине 2020-2022 годов, где был один крупный фонд, в 2023-2025 приходит куда более распределенная — и заметно более государственная, теперь уже международная. Но это уже деньги разных типов (оговорка 5). Рядом появился и четвертый тип — венчурный капитал в safety-стартапы, около $268 млн. Его я считаю отдельно: у него свой цвет и своя линия на всех графиках ниже, и в итоги грантов он не подмешивается. Грантовые деньги я показываю тремя способами — по величине, накопленными во времени и полосой точек: ни один из них по отдельности не показывает сразу и кто сколько дал, и когда деньги пришли.

Деньги по фондам, ранжированные: гранты по типу с VC и equity как четвертой группой

Здесь по одному столбцу на фонд, все отсортировано, ось логарифмическая, цвет — по типу. Синие — филантропия: Open Philanthropy на своем годовом итоге $304.5 млн (та же OpenPhil, что по отдельным грантам читается как $176.77 млн; оговорка 5), дальше SFF — $144 млн, FLI — $39 млн, FTX — $18.7 млн выданных, затем Schmidt, Longview, Manifund, Tallinn, LTFF, Founders Pledge и Effektiv Spenden. Оранжевые — государство: UK AISI около $159 млн, ARIA — $74 млн, Канада CAISI — $36.5 млн, NSF — $20 млн, Австралия AISI — $19.7 млн, US AISI при NIST — $10 млн, DARPA — $10 млн, EU AI Office — $9.8 млн. Красный — корпоративные деньги: AI Safety Fund при Frontier Model Forum, $9.2 млн. И отдельная, четвертая группа — зеленые VC и equity: Protect AI — $108.5 млн, HiddenLayer — $50 млн, Goodfire — $50 млн, Gray Swan — $40 млн, Lakera — $20 млн, всего около $268 млн. Equity ждет возврата, поэтому складывать ее с грантовыми $763.6 млн нельзя — у них общая только ось масштаба, на которой видно, как safety превращается в рынок. (интерактив).

Те же деньги, но во времени и по типам фондов — видно не только кто дал, но и когда.

Накопленные деньги во времени, по типу фонда

Здесь деньги накапливаются со временем, а цвет показывает тип: филантропия синим, государство оранжевым, корпоративные деньги красным. OpenPhil и LTFF взяты по годовым итогам, остальные — по отдельным грантам, поэтому общая высота выходит чуть больше их суммы в $763.6 млн. Но смотреть тут стоит на форму. До 2020 года это почти сплошь один синий поток филантропии. А с 2023-го резко растет оранжевая государственная полоса: полдюжины национальных safety-институтов появляются почти разом и превращают единственный узкий ручеек в широкий поток — все более государственный и международный. Отдельно идет пунктирная зеленая линия — VC и equity, примерно $268 млн: она нарисована на той же оси, но к грантам не прибавляется. (интерактив).

Третий способ — показать те же деньги полосой точек: сплошные линии выше скрывают ритм отдельных событий, а он тут важен.

Когда каждый фонд действовал и насколько крупным был каждый грант

По горизонтали — год, по вертикали — фонд (отсортированы по итогу), площадь точки равна деньгам за этот год, цвет — тип. Почти каждый год активна только OpenPhil, и ее точки за 2021-2023 годы самые крупные. Государственный кластер 2023-2025 годов хорошо виден — крупные оранжевые точки UK AISI, ARIA, Канады CAISI, NSF и Австралии AISI. Венчурные раунды идут зелеными ромбами с 2023 года, самый крупный — Protect AI в 2024-м. По датам смена режима видна сразу: до 2023 года деньги поля давала одна филантропия, а следующие три года к ней добавились государство и рынок. (интерактив).

Четвертый способ нужен, чтобы не потерялся ни один собранный доллар: это деньги, которые не выдавались как грант.

Обещания, бюджеты и полевые оценки: четвертый способ, отсортированный, никогда не суммируемый

Здесь горизонтальные столбцы, отсортированные по величине; подтипы сгруппированы, ось логарифмическая. Важна тут именно величина, потому что это несопоставимые, несуммируемые деньги; цвет показывает подтип. Стартовые обещания — это, например, обещание FTX Future Fund около $160 млн на старте. Годовые бюджеты организаций — это собственные цифры FTX ($50 млн и $32 млн), MIRI около $7.5 млн в год, а также CHAI, CSER, Ought и Lightcone. Общеполевые оценки — это, скажем, примерно $40 млн, потраченных на AI safety в 2019 году, плюс оценки за 2014-2016 годы, которые намеренно пересекаются с бюджетами организаций. Стартовые деньги при основании — это SFF около $2 млн и Timaeus на $0.14 млн. Все эти суммы очень разные, и складывать их нельзя: полевые оценки уже включают бюджеты организаций, а обещание — это еще не выдача. Поэтому их никогда не складывают и не смешивают ни с грантами ($763.6 млн), ни с итогами доноров, ни с VC-деньгами ($268.5 млн). Единственное, зачем они тут, — показать, что эти числа в данных есть. (интерактив).

Ярче всего этот разрыв виден в одном случае, которому отдан отдельный график.

FTX обещала около $160 млн против $18.7 млн выданных, потому что обещание не выдача

Вот главная цифра: FTX Future Fund обещал около $160 млн на старте, но до своего краха в ноябре 2022 года реально выдал лишь $18.7 млн. Этот разрыв между обещанным и выданным — самое ясное предупреждение эпохи. Ниже, на той же логарифмической оси, для масштаба выстроены остальные негрантовые деньги — бюджеты организаций, пересекающиеся полевые оценки и стартовые деньги при основании. Это по-прежнему четвертый способ, поэтому с грантами, итогами доноров и VC он не складывается. (интерактив).

А теперь о том, куда эти деньги на самом деле текут — как отдельные гранты идут от фонда к направлению.

Это диаграмма потоков: известные отдельные гранты, фонды слева, исследовательские направления справа, а ширина ленты равна сумме гранта. OpenPhil и SFF дают сразу по многим направлениям, а государственные институты (UK AISI, Канада CAISI, Австралия AISI, US AISI при NIST, EU AI Office, DARPA и NSF) заходят точечно — в основном в field-building, evaluations и robustness. Через эту схему проходят все отдельные гранты, всего около $764 млн: даже те, у которых вместо конкретного направления стоит общая категория (смешанно-технические, technical-safety) или capabilities, получают свои узлы справа, а не выбрасываются. За кадром остаются только итоги доноров и деньги VC и equity. (интерактив).

Тот же поток грантов, но с добавленным слева третьим уровнем — эпохой. Так видно кто, куда и когда.

Маршрут гранта от эпохи к фонду и к направлению

Здесь три уровня — эпоха, фонд, направление. Хорошо видно, как основная масса грантов сместилась в эпоху консолидации 2024-2026 годов и как именно новые государственные институты поддерживают evaluations, field-building и robustness. (интерактив).

Деньги против внимания и жизнь организаций. Деньги (по годовым итогам доноров) и научное внимание (по числу статей на arXiv) со временем расходятся все сильнее. А рождения и закрытия организаций дают отдельную кривую динамики по всему полю.

Деньги против научного внимания по полю в целом

Здесь нарисовано четыре вещи, и читать их лучше по отдельности.

Синие столбцы (левая ось, доллары за год) — это годовые итоги двух фондов, которые публикуют чистую цифру по всему полю: Open Philanthropy и LTFF. Тут я убрала повторы: если у фонда есть общая строка mixed-technical, беру ее, а иначе — полный итог за год, чтобы подкатегории не приплюсовывались сверху. Это единственный годовой денежный ряд, где ни один доллар не считается дважды, — поэтому он тут и стоит.
Почему столбцы обрываются на 2024 годе, а за 2025-2026 пусто: этот ряд опирается на опубликованные годовые итоги, а Open Philanthropy и LTFF свои итоги за 2025-2026 еще не выпустили — годовой отчет запаздывает. Последний столбец, за 2024 год, — это technical-safety итог OpenPhil, около $28 млн. Графики отдельных грантов выше (сдвиг по эпохам и деньги по направлениям) доходят до 2025 года, но это другой способ — считать отдельные гранты, — и с итогами доноров его складывать нельзя, иначе те же деньги посчитаются дважды.
Сплошная красная линия (правая ось, логарифмическая) — это safety-корпус без повторов: один общий запрос к arXiv, где каждая safety-статья считается один раз за год.
Пунктирная красная линия — наоборот, завышенная оценка. Я посчитала число статей отдельно по каждому направлению, а потом просто сложила все эти числа. Показываю это нарочно: так видно, как сильно такой способ раздувает результат — одна и та же статья попадает сразу в несколько направлений и считается в каждом (оговорка 1).

Серая полоса отмечает неполный последний год (только первая половина), правая ось логарифмическая. И деньги, и внимание тут — прокси, но линия без повторов на уровне поля надежна. (интерактив).

Рождения против закрытий и разворотов по годам

Вверх — новые организации, вниз — закрытия и смены фокуса. Тут важно помнить: график считает события за год, а не организации. Всего событий закрытия или разворота 14 (3 закрытия и 11 разворотов), и одна организация может менять фокус не раз. MIRI разворачивалась в 2013, 2018 и 2024 годах; OpenAI — в 2019-м, а в 2024-м закрыла команду Superalignment; Open Philanthropy — в 2024 и 2025 годах. Поэтому событий в красную сторону больше, чем самих исчезнувших организаций, — и красного тут больше, чем крестиков на графике ниже. (интерактив).

Жизнь организаций, от основания до закрытия или разворота

Здесь каждая полоса — это одна организация (а не событие, как на графике выше): она идет от года основания до закрытия или смены фокуса — или до сегодняшнего дня, если организация еще жива, — а крестик отмечает последнее такое событие. Даты основания MIRI (2005, когда SIAI переориентировалась на риски AI), Open Philanthropy (2014), CFAR (2012), LTFF (2017), METR (2022, тогда ARC Evals) и FTX Future Fund (2022) добавлены из источников. Теперь видна каждая организация с закрытием или разворотом, и график сходится с предыдущим: те 14 событий сворачиваются здесь в 10 организаций, у каждой один крестик на последнем таком событии, потому что MIRI, OpenAI и Open Philanthropy разворачивались не по одному разу. Развороты случаются по всему таймлайну — у MIRI уже в 2013 году, у CFAR в 2016-м. А настоящих закрытий всего 3 из 14 событий, и приходятся они на 2024 год — FHI и команда Superalignment в OpenAI; более раннее исключение — крах FTX Future Fund в 2022-м. (интерактив).

Три судьбы направления. Главный урок таблицы в том, что у направления тут три возможные судьбы — и исчезнуть из обсуждения это не то же самое, что умереть.

Идут в рост: интерпретируемость, evaluations и AI control — все появились недавно и растут. Интерпретируемость — показательный случай. По очищенному arXiv-прокси (после того как я убрала из запроса голое слово interpretability, под которое попадал весь общий ML) кривая куда скромнее: 69 статей в 2021 году, затем 81, 125, 257 и 657 к 2025-му. Форма сохраняется — ровный экспоненциальный рост, — и смысл несет именно она, а не абсолютные числа. Тот же подъем виден и в общем safety-корпусе без повторов: 351 статья в 2021 году, потом 427, 890, 2191 и 3813 к 2025-му уникальных safety-статей за год: за четыре года их число выросло почти в десять раз. А деньги при этом сильно отстают от внимания: всего $1.04 млн отдельных грантов в интерпретируемость — классический случай, когда внимание обгоняет финансирование. У evaluations разрыв закрылся почти мгновенно. До 2024 года отдельных денег на направлении не было вовсе, а потом набралось около $96.7 млн — почти все в 2024-2025 годах, — и за один год evaluations стали одним из лучше всего финансируемых направлений поля. Часть этого — целевые филантропические и американские деньги: AI Safety Fund при Frontier Model Forum дал $9.2 млн двумя раундами ($4.0 млн в 2024-м и $5.2 млн в 2025-м) на биологические, кибер- и agentic-evaluations; US AI Safety Institute при NIST дал $10 млн в 2024-м; Schmidt Sciences — $10 млн в 2025-м на науку об evaluations. Но основную массу денег принесли новые международные государственные институты, направив их прямо в evaluations: Канада CAISI — $36.5 млн, Австралия AISI — $19.7 млн, EU AI Office — $9.8 млн, плюс небольшой грант OpenPhil на $1.5 млн. Поэтому на панелях по направлениям ниже у evaluations уже есть и денежный столбец, и arXiv-линия, а на графике разрыва направление стоит рядом со средним по полю, а не с того края, где денег мало.

Растворились: reward modeling (теперь RLHF) и value learning. По arXiv-прокси (тут запрос расширен до RLHF, reward models, DPO и preference optimization) RLHF идет с 25 статей в 2021 году до 43, потом 275, 1010 в 2024-м и 1777 в 2025-м. Из разговоров про safety это направление ушло по простой причине: его методы настолько прижились, что стали стандартом. RLHF и DPO теперь — обычный способ дообучать любую коммерческую LLM, так что направление просто растворилось в общем ML. А статей все больше именно потому, что это теперь общая инфраструктура, а не отдельная тема safety.

Затухли: agent foundations и ранняя макростратегия. Когда-то они были ядром поля, а потом сжались. Agent foundations почти не виден на arXiv-прокси до 2024 года — это обратный случай: термин молодой, а само направление старое. А для макростратегии символической точкой стало закрытие FHI в 2024 году.

Деньги и внимание по каждому направлению я развела по отдельным маленьким панелям, чтобы ничего не накладывалось:

Грантовые деньги против научного внимания, по направлениям (малые множества)

На сетке — малые панели, по одной на направление, отсортированы по общему объему грантов. В каждой панели столбцы (левая ось) — это отдельные гранты направления за год в долларах, а пунктирная линия (правая ось, логарифмическая) — его научное внимание по arXiv-прокси за те же годы. Так каждое направление читается само по себе, и расхождение между деньгами и вниманием видно сразу. Здесь показаны все отдельные гранты, всего около $764 млн. Гранты без конкретного направления собраны в одну серую панель — прочее, около $83.6 млн: это гранты, отнесенные к общей категории (mixed-technical, technical-safety), плюс один не-safety грант. Тут только деньги, без arXiv-линии, — чтобы ни один доллар не потерялся и в сетке по-прежнему складывались полные $763.6 млн. Годовые итоги OpenPhil и LTFF, а также венчурные деньги живут на графике накопленного финансирования, и здесь их не складывают. У интерпретируемости пунктирная линия круто идет вверх над крошечными столбцами: внимание сильно опережает деньги, даже после очистки кривой от голого слова interpretability. У evaluations — стена столбцов за 2024-2025 годы. У AI control денежные столбцы есть с 2021 года, еще до того, как поднимается внимание. А направления, у которых есть arXiv-прокси, но совсем нет отдельных грантов (reward modeling, red-teaming, unlearning, chain-of-thought faithfulness, honesty и ELK, а также зонтичные и вложенные направления, по оговорке 1), панели тут не получают — их не по чему ранжировать. Их внимание показано на графике «деньги против внимания» уровня поля и на кривых прокси по направлениям. Оба ряда тут — только прокси, а safety-корпус без повторов я специально на эту сетку не наносила: это метрика уровня всего поля. (интерактив).

Какие направления лидируют по вниманию против денег, как отклонение от среднего по полю

Этот график разрыва заменяет прежнюю путаницу из log-log траекторий. Для каждого направления, у которого есть и денежный ряд, и arXiv-прокси, столбец показывает, насколько он отходит от среднего по полю отношения денег к вниманию. Считается это как логарифм от того, во сколько раз фактическое внимание больше ожидаемого (ожидаемое — это средняя по полю доля статей на доллар, умноженная на деньги направления). Синий столбец вправо — научное внимание идет впереди денег. Красный столбец влево — деньги идут впереди внимания. Подпись показывает множитель. Интерпретируемость — крайний синий случай: ее внимание примерно в 36.9 раза больше того, что можно было бы ожидать при ее скромных грантах около $1 млн, — классический разрыв, где наука впереди денег. С красной стороны стоят scalable oversight, agent foundations и governance — там отдельные деньги обогнали внимание на arXiv. Оба сигнала — прокси (оговорки 1 и 2). (интерактив).

Ранг по деньгам против ранга по вниманию по направлениям (гантель) — Ранг по деньгам против ранга по вниманию по направлениям

Соседний график раскладывает те же направления, но показывает не величину разрыва, а порядок: ранг направления по грантам (оранжевая точка) против его ранга по вниманию на arXiv (зеленая точка), соединенных линией; ранг 1 — самый маленький, самый большой ранг — самый крупный. Длинная синяя линия — внимание ставит направление намного выше, чем деньги. Длинная красная — наоборот, деньги ставят его намного выше внимания. Совпавшие точки — оба ранга согласны. Если поставить его рядом с графиком разрыва выше (тот показывает величину), сразу видно, кто впереди: у интерпретируемости точки разъезжаются далеко, а у лучше сбалансированных направлений держатся близко. Оба ранга опираются на прокси (оговорки 1 и 2). (интерактив).

И, наконец, денежный след направлений на одной денежной оси — с одной оговоркой.

Уточнение: здесь одна логарифмическая ось только для денег, а не сравнение по нескольким метрикам. Радары с разными метриками на разных масштабах вводят в заблуждение, поэтому такого я тут не строила. (интерактив).

Финал: открытые вопросы

Морали в конце не будет — данные ее не дают. Что остается, так это несколько открытых вопросов, на которых поле стоит прямо сейчас:

Если Safety убрали из названий институтов, это смена знака или смена сути? В последнюю эпоху governance стала главным потоком (26 из 82 неденежных событий за 2024 — первую половину 2026, треть блока): саммиты, законы, обязательства. Но все это идет уже под флагом security, standards и action. Вырастут ли под этим флагом те же исследования, что и под флагом safety, или уже другие?
Консолидация — это концентрация или все-таки дробление? По деньгам и вниманию поле явно стягивается к нескольким именам: Anthropic, safety-институты, один крупный донор. А если считать по числу людей, картина переворачивается: 2024 год поставил рекорд по новым организациям, в основном командам по одному-пять человек — интерпретируемость, AI security, мониторинг chain-of-thought. Поле взрослеет и специализируется — или дробится, и выживут лишь единицы? Считать ли растворение успехом, или оно стирает тех, кто был в начале? RLHF победила, а потом ее втянуло в обычную инженерию. Хорошо ли это, когда метод safety перестает считаться темой safety? И кто тогда следит, где этот метод перестает работать?
Насколько поле зависит от одного-двух фондов? Если поставить рядом канал OpenPhil и крах FTX, видно, насколько поле уязвимо. У evaluations независимый спонсор (AI Safety Fund) появился совсем недавно, а интерпретируемость до сих пор держится почти на одном фонде. Что будет, если этот фонд уйдет или урежет поддержку? В интерпретируемости наука обогнала деньги, а в governance, наоборот, деньги выросли быстрее науки. Какой из этих двух разрывов здоровый — и что ответ говорит о том, чем поле на самом деле занято?
В интерпретируемости наука идет впереди денег, а в governance деньги шли впереди публикаций. Какой из разрывов правильный и что он говорит о том, чем поле на самом деле занято?

Приложение: методология

Данные и источники. В датасете 323 события с 2005 года по середину 2026-го, плюс safety-корпус без повторов и arXiv-прокси по 23 направлениям. У каждой такой цифры есть точный URL поискового запроса, по которому ее можно воспроизвести. Большую часть свежих деталей я добирала в несколько проходов по живым первоисточникам, а не по ретроспективам, которые обрываются на 2023 годе. Новые организации я находила по анализу роста поля на EA Forum. Исследовательские вехи 2024-2025 годов взяты из “Shallow Review of Technical AI Safety” со всеми ссылками на arXiv и лаборатории, а governance-события — из первоисточников: gov.uk, документы ЕС, законы Калифорнии и материалы Белого дома.

В последних дополнениях базы добавились новые филантропические грантодатели (Manifund, Longview, Founders Pledge, Schmidt Sciences, Effektiv Spenden, Macroscopic Ventures и Nonlinear) и международные государственные институты (UK AISI и ARIA, US AISI при NIST, NSF, Канада CAISI, Австралия AISI, EU AI Office, DARPA GARD и AIxCC, TrojAI от IARPA, Singapore AISI, годовой бюджет UK AISI около £50 млн, немецкий DE-AISI и India AISI). Тогда же добавились и венчурные раунды в safety-стартапы, которые я записала как инвестиции: Goodfire — $50 млн, Gray Swan — $40 млн, Lakera — $20 млн, HiddenLayer — $50 млн и Protect AI — $108.5 млн до его покупки Palo Alto за $634.5 млн. Плюс недостающие события основания safety-организаций (EleutherAI, Apart Research, Lakera, Protect AI) и индивидуальный донор Craig Newmark — последние два входят как заявление и инвестиция, чтобы гранты не считались дважды.

В финальном проходе метод по arXiv я развернула от широты к точности. Добавила safety-корпус без повторов — один общий запрос, где каждая статья считается один раз. Два худших направления почистила: из интерпретируемости убрала голое слово interpretability, а truthfulness пометила как высокошумное и убрала из общей суммы поля.

Данные пишут три скрипта-коллектора, каждый с URL источника и с воспроизводимым перезапуском: один тянет arXiv, другой — годовые выплаты LTFF из EA Funds, третий — годовые итоги SFF. Из-за этого 2024 год и выходит самым плотным в базе — отчасти как раз из-за плотности сбора, о чем и предупреждают графики продолжительности жизни. У каждого события есть первоисточник, а типы источников такие:

Препринты arXiv дают научное внимание по направлениям.
Технические отчеты и блоги лабораторий — это Circuits на distill, Transformer Circuits и другие публикации Anthropic, а также анонсы OpenAI и DeepMind.
Ретроспективы и обзоры сообщества — это LessWrong, Alignment Forum и EA Forum.
Налоговые декларации НКО — формы 990 через ProPublica — дают доход и размер организаций.
Веб-архив (Wayback Machine) закрывает страницы, которые с тех пор исчезли или были переписаны.
Страницы регуляторов — это UK AI Safety and Security Institute, NIST и CAISI, а также институты и документы ЕС.
Анонсы фондов и годовые отчеты — Open Philanthropy, Survival and Flourishing Fund (SFF), Long-Term Future Fund (LTFF), Future of Life Institute (FLI) и FTX Future Fund, плюс агрегатор донатов сообщества.

Как считаются деньги. Отдельные гранты (конкретная сумма конкретному получателю в конкретном году) я держу отдельно от годовых итогов доноров (сколько фонд выделил за год всего). Чтобы одни и те же деньги не считались дважды, у каждого донора беру один основной ряд: годовые итоги для OpenPhil и LTFF, отдельные гранты для всех остальных. Ключевые суммы:

Отдельных грантов всего на $763,625,573, по 79 грантам, и по фондам они делятся на три типа. Филантропия — самый старый и крупный блок: OpenPhil — $176.77 млн, SFF — $144.04 млн, FLI — $39.01 млн, FTX — $18.74 млн, дальше Schmidt Sciences — $10.0 млн, Longview — $9.0 млн, LTFF — $6.41 млн, Manifund — $5.42 млн, Jaan Tallinn — $5.0 млн, Founders Pledge — $0.81 млн и Effektiv Spenden — $0.18 млн. Государственные институты — более новые: UK AI Safety Institute — $159.0 млн, ARIA — $74.0 млн, Канада CAISI — $36.5 млн, NSF — $20.0 млн, Австралия AISI — $19.73 млн, US AI Safety Institute при NIST — $10.0 млн, DARPA GARD — $10.0 млн и EU AI Office — $9.81 млн. Рядом с ними один корпоративный источник — AI Safety Fund при Frontier Model Forum, $9.20 млн. Выделенные пункты пришли с последним большим дополнением базы — это уже международные государственные институты (Канада CAISI — CAD$50 млн на пять лет, Австралия AISI — A$29.9 млн на четыре года, EU AI Office — €9.08 млн, DARPA GARD — $10 млн на 2024 фингод) плюс новый розничный фонд Effektiv Spenden. OpenPhil тоже подрос благодаря отдельным грантам 2024 года в CAIS, Redwood и MIRI на сумму около $3.8 млн — я пометила их как часть годового итога, чтобы не считать дважды. Это деньги разной природы (оговорка 5): часть из них — это заявленные бюджеты программ, а не выданные суммы (£100 млн у Британии, £59 млн у ARIA, CAD$50 млн у Канады, A$29.9 млн у Австралии). Валюты я перевела в доллары по референсным курсам (примерно 1.25 за фунт, 1.08 за евро, 0.73 за канадский доллар и 0.66 за австралийский) и пометила это в поле деталей. Задвоения я исключила: годовые итоги OpenPhil и LTFF и их же отдельные гранты нигде не складываются, а все пересечения помечены в данных — будь то NSF против OpenPhil на $5 млн, Alignment Project против OpenAI и Schmidt или отдельные гранты OpenPhil против ее итога.
Деньги VC и equity я считаю отдельно, в эти $763 млн они не входят. Венчурные раунды в safety-стартапы я записывала как инвестиции: это не благотворительные гранты, а вложения, которые ждут возврата, поэтому с грантами их не складывают. Вот они: Goodfire — $50 млн в раунде Series A на интерпретируемость, Gray Swan — $40 млн, Lakera — $20 млн, HiddenLayer — $50 млн, Protect AI — $108.5 млн (до того как Palo Alto Networks купила его за $634.5 млн). Всего это около $268 млн раскрытого equity. Показательная деталь: самый первый венчурный чек в чистую интерпретируемость — те же $50 млн Goodfire — сопоставим со всем годовым техническим бюджетом OpenPhil. Safety постепенно становится рынком, а не только благотворительностью.
SFF по годам (по проверенным анонсам SFF, как записано в базе и нанесено на графики) растет с $5.45 млн в 2020 году до $19.4 млн в 2021-м, потом $18.1 млн в 2022-м, пик $42.3 млн в 2023-м, дальше $24.0 млн в 2024-м и $34.9 млн в 2025-м — всего $144.04 млн. Годовые итоги SFF и годовые выплаты LTFF я выгружаю в два отдельных файла, каждый со ссылкой на источник.
Расходы OpenPhil на техническую safety в 2024 году — около $28 млн (как записано в базе грантов), с оговоркой: тут деньги посчитаны иначе, чем у агрегатора донатов за 2015-2023 годы, и сама организация называет цифру “около $50 млн” за 2024-й. За 2023 год — около $46 млн на AI safety. В 2025-м по всем направлениям прошло больше $1 млрд, но отдельной цифры именно по AI фонд не публикует; из этого объявлен запрос предложений на $40 млн по технической AI safety.

Про 2026 год (неполный, только H1). Реальные события первой половины 2026 года я взяла из первоисточников (Anthropic Natural Language Autoencoders, кибер-evaluations UK AI Security Institute, EU Digital Omnibus). А вот распределенных денег за 2026 год пока нет: SFF-2026 объявлен лишь на $20-40 млн с распределением осенью, поэтому сумму я не записывала, а раунд AI Safety Fund с конкретной цифрой пришелся на декабрь 2025 года.

Ряды по arXiv я пересобрала единым методом по всем 23 направлениям: один воспроизводимый рецепт — синонимы через OR в заголовке и абстракте плюс фильтр категорий по направлениям, статьи считаю по дате подачи, в общем окне 2015-2026 годов, — и отказалась от прежней смешанной методики. К прокси по направлениям добавился safety-корпус без повторов, одна общая выгрузка, где каждая статья считается один раз; на графике «деньги против внимания» это сплошная линия против пунктирной, завышенной суммы по ключевым словам. Две самые шумные кривые я почистила: интерпретируемость без голого слова interpretability (число статей упало в несколько раз) и truthfulness, которую пометила как высокошумную и убрала из суммы поля.

2026 год так и остается неполным, только первая половина, и помечен серой зоной — чтобы неполный год не читался как спад; а ромбы последнего полного года на графике продолжительности жизни стоят на 2025-м. Переименование OpenPhil в Coefficient Giving привязано к реальной дате — ноябрю 2025 года.

Пять оговорок, на которых все держится:

Число статей на arXiv — это прокси, а не библиометрия. Ключевое слово вроде RLHF или scalable oversight появляется на arXiv позже реального старта направления. Широкие фразы вроде AI control, dangerous capabilities, value learning и model editing добавляют шума. Да и сам запрос с каждым дополнением базы становился шире. Точную фразу я заменила синонимами через OR под фильтром категорий, искала уже и в заголовке, и в абстракте, а набор категорий подбирала под каждое направление отдельно: adversarial-направление, например, опиралось на cs.CR и cs.CV, governance — на cs.CY, multi-agent — на cs.RO, и все это в одном окне 2015-2026 годов. Из-за такого расширения числа по направлениям, конечно, раздуваются, и большая часть заметного скачка — это расширение запросов, а не рост самого поля. Поэтому в последнем проходе я и развернулась от широты к точности: собрала safety-корпус без повторов — один общий запрос из safety-специфичных фраз, где каждая статья считается ровно один раз. Вот этому числу на уровне поля и стоит доверять. Два самых грязных направления я вдобавок почистила. Из запроса по интерпретируемости пришлось убрать голое слово interpretability — под него попадал чуть ли не весь общий ML, и без него число упало в несколько раз. С truthfulness было еще хуже: на деле это просто hallucination и factuality, то есть обычный NLP, так что направление я пометила как высокошумное и убрала из суммы поля. Теперь у каждого прокси-направления стоит явный флаг шума — низкий, средний или высокий. И масштаб стоит назвать прямо: статей в cs.AI, cs.LG, cs.CL и stat.ML с 2015 по 2026 год — сотни тысяч, а тех, что сами помечают себя как AI safety или alignment, — всего несколько тысяч. Так что даже весь safety-корпус на этом фоне — тонкая полоска, а суммы по направлениям завышают его в разы. И последнее: часть прокси-направлений — это зонтики или вложены друг в друга. Широкий alignment покрывает все, constitutional AI сидит внутри RLHF, а activation steering и singular learning theory — внутри интерпретируемости. Поэтому кривые внимания нельзя складывать в лоб. Для общей суммы внимания по полю я беру либо корпус без повторов, либо непересекающееся ядро направлений, а остальное показываю отдельными кривыми. Важна форма каждой кривой — всплеск это или плато — и относительные сравнения, а не точное число.
Число событий на направление — смещенная мера. Оно показывает, сколько я записала, а не сколько реально произошло. Про реальную активность лучше судить по деньгам и публикациям, а не по количеству записанных событий. (На графике плотности сбора последние годы для этого прямо заштрихованы как недобранные.)
Причинное “почему” — это интерпретация. Оно надстроено поверх проверенных событий, а не взято из источника, и остается аргументом, с которым можно спорить.
Организация-получатель гранта не выделена в отдельную структуру. Она есть только в тексте описания события, поэтому денежные потоки идут от фонда к направлению, а не от фонда к организации.
Деньги теперь смешивают несколько типов, и каждый я считаю отдельно. После нескольких дополнений базы денежные графики перестали быть только про филантропические гранты. Теперь в них входят и государственные программы полудюжины стран (UK AISI, ARIA, US AISI при NIST, NSF, Канада CAISI, Австралия AISI, EU AI Office, DARPA GARD), и корпоративно-филантропические источники (AI Safety Fund, Schmidt Sciences, Manifund, Longview, Founders Pledge, Effektiv Spenden). Но это деньги совсем разного рода: государственный бюджет — не частный грант, и ни то, ни другое — не обещание выделить вычислительные мощности, а часть записей — это вообще заявленный бюджет программы, а не выданная сумма. Дальше идет совсем отдельная категория — венчурные деньги (VC и equity) в safety-стартапы, записанные как инвестиции. Goodfire привлекла $50 млн в Series A на интерпретируемость; Gray Swan — $40 млн, Lakera — $20 млн, HiddenLayer — $50 млн; а Protect AI — $108.5 млн до того, как Palo Alto купила его за $634.5 млн. Всего это около $268 млн раскрытого equity, и это не благотворительный грант: инвестор ждет возврата, поэтому с грантами такие деньги не складываются и в грантовые графики вообще не входят — я их считаю отдельно. Четвертый тип денег — это ни грант, ни equity: обещания, годовые бюджеты и общеполевые оценки. Это то, что собирается, но не выдается как грант, — стартовое обещание FTX около $160 млн против реально выплаченных $18.7 млн, годовые бюджеты организаций, оценки вроде примерно $40 млн, потраченных на AI safety в 2019 году. Только обещания вообще без цифры остаются чисто на словах — просто нет числа, которое можно поставить: вычисления OpenAI Superalignment, Frontier Safety Framework от Google DeepMind, покупка Protect AI, немецкий DE-AISI, India AISI, институты Singapore, IARPA и AIxCC, донор Craig Newmark. Складывать все эти деньги в одну общую сумму по полю нужно осторожно, поэтому там, где это важно, я отмечаю это прямо у графиков.

Где перепроверить числа. GIT ai-safety-genealogy

Я пишу про AI safety в канале t.me/MrsWallbreaker: разборы статей, интерпретируемость, evals и иногда негодования.

ссылка на оригинал статьи https://habr.com/ru/articles/1058882/