Исследование: открытый исходный код в разработке ИИ пока более выгоден самим корпорациям

На Wired вышла колонка, посвящённая идее открытого исходного кода для языковых моделей. Она базируется на недавнем исследовании Llama 2 от Meta* и других моделей, которые так или иначе описываются как «открытые». Учёные из Университета Карнеги-Меллона, Института AI Now и Signal Foundation утверждают, что модели, маркированные как «открытые», на самом деле не вполне соответствуют принципам Open Source. Более того, исследователи убеждены, что «даже самые открытые из «открытых» систем ИИ сами по себе не обеспечивают демократичного доступа к ИИ или значимой конкуренции в сфере ИИ, а открытость сама по себе не решает проблему надзора и контроля». 

Как пишет автор колонки на Wired Уилл Найт, на первый взгляд может показаться, что принцип открытого исходного кода, который на протяжении десятилетий демократизировал доступ к программному обеспечению, обеспечивал прозрачность и повышал безопасность, теперь может оказать аналогичное влияние на ИИ.

Например, недавно появившаяся языковая модель от Meta Llama 2 позиционируется именно как открытая. Её можно бесплатно загрузить, изменить и развернуть. Но на неё не распространяется обычная лицензия с открытым исходным кодом. Лицензия Meta запрещает использование Llama 2 для обучения других языковых моделей; для этого требуется специальная лицензия, если разработчик развёртывает её в приложении или сервисе с более чем 700 млн пользователей в месяц.

По мнению авторов исследования, такой уровень контроля означает, что Llama 2 может дать Meta значительные технические и стратегические преимущества, например, позволяя компании получать выгоду от полезных настроек, внесённых сторонними разработчиками, когда она использует эту модель в своих собственных приложениях.

В своей статье учёные отмечают, что модели, выпускаемые под обычными лицензиями с открытым исходным кодом, такие как GPT Neo от некоммерческой организации EleutherAI, являются более открытыми. Но таким проектам сложно выйти на равные позиции с разработками больших корпораций. Во-первых, данные, необходимые для обучения продвинутых моделей, часто держатся в секрете. Во-вторых, программные платформы, необходимые для построения таких моделей, часто контролируются крупными корпорациями. Две самые популярные из них, TensorFlow и Pytorch, поддерживаются Google и Meta. В-третьих, мощность компьютера, необходимая для обучения большой модели, также находится за пределами досягаемости любого обычного разработчика или компании (для одного обучающего прогона требуются десятки или сотни миллионов долларов). И, наконец, человеческий труд, необходимый для доработки и улучшения этих моделей, тоже можно отнести к тем ресурсам, которые в основном доступны большим компаниям с большими бюджетами на ИИ.

Поэтому авторы исследования считают, что если события в разработке ИИ будут развиваться так же и дальше, одна из самых важных за последние десятилетия технологий может в конце концов обогатить и расширить возможности горстки компаний, включая OpenAI, Microsoft, Meta и Google. 

«Наш анализ указывает на то, что открытость не только не способствует «демократизации» ИИ, — отметила в интервью для Wired Мередит Уиттакер, президент Signal и одна из авторов статьи. — Мы показываем, что компании и учреждения могут и используют «открытые» технологии для укрепления и расширения централизованной власти». Уиттакер считает, что открытость должна стать фактором регулирования ИИ, и что сообществу разработчиков нужны альтернативы технологиям, создаваемым компаниями-монополистами. 

_{* Meta Platforms, а также принадлежащие ей Facebook и Instagram: признана экстремистской организацией, её деятельность в России запрещена; запрещены в России}