Хассабис: AGI, скорее всего, построят поверх нынешних языковых моделей

Глава Google DeepMind Демис Хассабис считает, что будущий AGI, скорее всего, не заменит нынешние большие языковые модели, а будет построен поверх них. В интервью подкасту 20VC он сказал, что главный вопрос не в том, исчезнут ли базовые модели, а в том, окажутся ли они всей системой общего ИИ или только ее ключевым компонентом. 

Так Хассабис ответил на вопрос о «мире после LLM» и спор с позицией Яна ЛеКуна, который давно критикует языковые модели как недостаточный путь к человеческому уровню интеллекта. Глава DeepMind не согласился с тем, что нынешний класс моделей надо будет отбросить: по его словам, они уже показали слишком сильные результаты, а отдача от масштабирования все еще остается существенной. 

При этом Хассабис не говорит, что путь к AGI уже полностью понятен. Он оценил вероятность того, что для общего ИИ понадобятся дополнительные прорывы, как «50 на 50». Среди возможных недостающих элементов он отдельно упомянул модели мира (world models) — системы, которые помогают ИИ строить более устойчивое представление о среде, а не только предсказывать следующий фрагмент текста.

Он назвал и другие доработки, которые понадобятся текущим моделям. Это непрерывное обучение после основного обучения, более умная память вместо грубого длинного контекста, долгосрочное и иерархическое планирование, а также устойчивость к переформулировкам. Хассабис назвал современные системы «jagged intelligences» — неровным интеллектом: они могут впечатлять в одной задаче и проваливаться на похожей, если вопрос задан немного иначе.

В итоге позиция главы DeepMind оказывается промежуточной между двумя крайностями. Он не считает, что простое масштабирование языковых моделей автоматически решит все проблемы AGI. Но и тезис «LLM — тупик» он тоже отвергает: будущая система, по его версии, с большой вероятностью будет не заменой нынешних моделей, а надстройкой над ними — с памятью, обучением, планированием и моделями мира.

P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть«, где я рассказываю про ИИ с творческой стороны.