Как предсказательный ИИ может изменить работу разработчиков

Привет, на связи Юлия Рогозина, аналитик бизнес-процессов Шерпа Роботикс. Сегодня я перевела для вас статью, в которой рассмотрены альтернативы генеративному ИИ. Статья будет полезна для разработчиков, которые хотят учитывать и другие формы машинного обучения при создании своих приложений.

В последние месяцы тема генеративного искусственного интеллекта (GenAI) стала одной из самых обсуждаемых в мире технологий. Однако, по мнению Риты Козловой, вице-президента по продуктам платформы для разработчиков и ИИ в компании Cloudflare, разработчики должны учитывать и другие формы машинного обучения при создании своих приложений.

«Все сейчас экспериментируют с генеративным ИИ, и это создаёт иллюзию, что в производственных приложениях и реальных кейсах происходит намного больше, чем есть на самом деле», — замечает Козлова. «Мы видим, что многие чат-боты выбрасываются на передний план пользовательского интерфейса».

Альтернативы чат-ботам на базе ИИ

Однако, такой подход не всегда оправдан, добавляет эксперт. Простое внедрение чат-ботов с использованием генеративного ИИ может восприниматься как просто галочка для компании — мол, «мы используем ИИ», — без реальной заботы о том, насколько полезен этот инструмент для пользователей. 

Как альтернатива, Козлова рекомендует исследовать возможности предсказательного ИИ. Этот тип ИИ использует алгоритмы машинного обучения для выявления закономерностей в исторических данных и прогнозирования событий в будущем. Применение предсказательного ИИ включает такие задачи, как детекция мошенничества, оценка кредитных рисков, прогнозирование спроса и даже диагностика заболеваний.

Например, календарное приложение может использовать машинное обучение для того, чтобы подсказать пользователю доступные временные интервалы для записи на прием.

 «Для этого не обязательно полагаться на генеративный ИИ», — утверждает Козлова. При этом она признает, что в ряде случаев генеративный ИИ действительно невероятно полезен для людей сегодня.

Предсказательный ИИ опирается на так называемый инферентный ИИ, который включает в себя применение обученной модели для генерации предсказаний на основе новых данных. Как отмечает Козлова, выполнение инференса требует значительно меньших вычислительных ресурсов по сравнению с обучением моделей. Это делает инферентный ИИ более доступным для использования в реальных приложениях.

Cloudflare, например, предоставляет платформу Workers AI, которая управляет бэкендом и позволяет разработчикам работать с бессерверным выводам ИИ через API. Платформа также предоставляет доступ к различным открытым моделям, что делает внедрение ИИ в приложения еще более гибким и доступным для разработчиков.

Широкое внедрение более компактных моделей

Ещё одной заметной тенденцией, на которую обратила внимание Рита Козлова, является предпочтение организаций запускать более компактные модели с меньшим количеством параметров, чем использовать максимально крупные модели.

«Люди осознали, что модели с 400 миллиардами параметров действительно существуют, но их просто невозможно использовать на практике. Они слишком дороги», — говорит она. — «Мы также наблюдаем обратный тренд — возвращение к более маленьким моделям».

Разработчики считают, что гораздо проще воспользоваться популярным поставщиком генеративного ИИ, который предлагает ограниченный набор моделей через API, чем развертывать сложные и ресурсоёмкие решения.

«Все поняли, что такие модели с 400 миллиардами параметров действительно существуют, но их невозможно запускать в реальных условиях — это слишком дорого», — добавляет Рита Козлова, вице-президент Cloudflare по продуктам, платформам для разработчиков и ИИ.

Сложности начинаются, когда разработчикам нужно развертывать крупные открытые языковые модели или модели, обученные внутри компании, продолжает она. В таких случаях необходимо настраивать виртуальные машины для инфраструктуры.

«Если вы хотите использовать действительно крутые открытые модели или те, которые вы обучили сами… вам снова предстоит настроить виртуальные машины и точно рассчитать, какая пикова́я нагрузка вам нужна, — рассказывает Козлова. — Придётся заранее продумывать инфраструктуру, что приводит к большому количеству догадок по поводу ресурсов, которые вам будут нужны, и в результате — переплатам за ресурсы, которые не используются в полной мере».

Большинство рабочих нагрузок не требуют 100% мощности всё время — это крайне редко, отмечает она. Это означает, что разработчики вынуждены тратить время на расчёты и переплачивать за избыточные ресурсы, которые в реальности не будут востребованы.

«Вы работаете медленнее, потому что вам нужно заниматься всей этой инфраструктурой, настраивать балансировку нагрузки, маршрутизацию и прочее, вместо того, чтобы заниматься тем, что побудило вас использовать ИИ изначально — получить продукт на рынок как можно быстрее и получить конкурентное преимущество за счет интеграции ИИ в ваше приложение», — заключает Козлова.

Использование предсказательного ИИ в Cloudflare

Cloudflare уже использует предсказательный ИИ, например, для распознавания реальных атак и всплесков трафика, рассказывает Козлова.

«Мы поняли, что можем использовать нашу сеть, которую мы построили для защиты и ускорения приложений, чтобы предложить разработчикам возможность строить свои приложения прямо на этой сети», — объясняет она.

Кроме того, через облачную платформу разработчики получают доступ к ряду инструментов:

1. Vectorize — векторная база данных, которая позволяет разработчикам интегрировать собственную информацию или специфичные данные в модель;

2. Поддержка Retrieval Augmented Generation, которая помогает уточнять модели с учётом специфических знаний в области;

3. AI Gateway — шлюз ИИ, который помогает отслеживать расходы на запуск различных ИИ-моделей.

«Шлюз ИИ помогает вам мониторить все эти процессы и проводить эксперименты, но таким образом, чтобы вы могли затем получить и сравнить результаты, сосредоточив внимание на том, что важно для вашего конкретного рабочего процесса, будь то стоимость, производительность или точность, и видеть, какие ответы получают ваши пользователи», — объясняет Козлова.