RAG, self-hosting, обучение и оптимизация LLM – 25 докладов про генеративный AI на Conversations 6 декабря

Conversations – ежегодная конференция по разговорному и генеративному AI для бизнеса и разработчиков. В этом году 6 декабря в Москве и онлайн – save the date!

В этом году участников Conversations ждут несколько тематических секций: «Generation AI. Новое поколение кейсов», «RAG или не RAG? Трезвый взгляд разработчиков», «Self-hosting. Обучение и оптимизация генеративных моделей», две дискуссии в бизнес- и технотреке, выставка AI-решений и, как всегда, мощный нетворкинг. 

В программе конференции – аналитика, кейсы, погружение в разработку AI-решений от Timeweb, Альфа-Банка, Ozon, Дом.ру, Т-Банк, Северсталь, Fabula AI, Авито, Ecom.tech и других компаний. 1 день, 2 сцены, 35+ спикеров – не пропусти! Подробности докладов и промокод на билеты внутри. 

Кейсы и челленджи разработки AI-решений 

LLM в действии: как с помощью чат-бота автоматизировать SQL-запросы и получать актуальную аналитику за минуты, а не дни? Расскажут Арнольд Сааков и Ирина Дворянинова из Ecom.tech. Вы узнаете, как устроен аналитический бот, и какие задачи решаются с помощью LLM text2sql и text2text. Также ребята поделятся процессом ресерча и тестирования open-source моделей: какие метрики важны, и что помогло команде Ecom.tech выбрать лучшую модель. 

Как за месяц создать свою LLM на базе опенсорса и вывести в прод? С опорой на реальные кейсы расскажет Вадим Данильченко, Ozon. И ответит на самые актуальные вопросы: какую модель выбрать, если у вас ограничены ресурсы? Где брать данные для fine-tuning? Как снизить требования к VRAM и ускорить обучение? Что обязательно нужно учесть при оценке результатов? Какой фреймворк выбрать для вывода модели в прод? Как запустить 5+ проектов на одной LLM?

Билингвальные голосовые боты от A до Ў: как работает ASR-движок, как поменять язык в риалтайме и обучать трансформер: кейс Юнистар. Команда расскажет о том, зачем нужны билингвальные боты и продемонстрирует статистические данные по рынку. Также вы узнаете подробности 3-х кейсов на рынке СНГ и о лингвистических и культурных особенностях языков на каждом из проектов. Конечно, не обойдется без технических деталей: распознавание и классификация пользовательских запросов, стратегии смены языка: нюансы работы Трансформера и движков ASR.

Face Swap without changing source features. Как получить качественную модель переноса лица и не потерять при этом художественные черты изображения? Владислав Лаптев о том, как в Fabula AI переделали архитектуру и ускорили процесс переноса лица в десятки раз. Про подмену голоса и лица в риалтайме у видеопотока, про ML-вызовы и пути преодоления, а также про лучшие пайплайны преобразования картинки.

В этой секции вас также ждут доклады от Авито, Just AI и MTS AI. Stay tuned!

Self-hosting. Обучение и оптимизация генеративных моделей

Масштабирование LLM приложений на миллионы клиентов. Артем Бондарь из Т-Банка
расскажет о том, как с помощью LLM команда собирает прототипы AI-приложений за считанные часы. Какие слабости LLM открываются в процессе масштабирования решений на большие клиентские базы? Какие подходы к интеграции используют в Т-Банке? Как выкатывают решения и оценивают их качество? 

Обзор популярных бенчмарков для оценки LLM подготовил для вас Роман Куцев, основатель компании LLM Arena. Из доклада вы узнаете об особенностях таких бенчмарков как MMLU, MTBench, TruthfulQA, BIG-bench, Humanity’s Last Exam, LLMarena, Arena Hard, MERA, PingPong. Роман поделится проблемами, которые удалось выявить при работе с ними: переобучение, устаревание, взломы. Ответит на вопрос: «Можно ли обмануть бенчмарк и попасть в топ?» и расскажет, как создать бенчмарк под свою бизнес задачу и выбрать лучшую LLM с AlpacaEval, HELM, PromptBench.

Как техника внутриконтекстного дообучения ускоряет разработку чат-ботов и классификаторов? Андрей Сажнев, Герман Тимаков, Sherpa AI. Команда Sherpa AI расскажет об отказе от классического файнтюнинга моделей и замене этого подхода на In-Context Fine Tuning. Какие инструменты и подходы использовали к реализации In-Context Fine Tuning? Как использовали этот подход для классификации обращений в техническую поддержку? Кейсы применения, нюансы использования внутриконтекстного дообучения – все в докладе Sherpa AI.

RAG или не RAG? Трезвый взгляд разработчиков

Как RAG меняет правила игры в обработке данных? В докладе Валерия Ковальского из NDT by red_mad_robot вас ждет краткий экскурс в концепцию Retrieval-Augmented Generation и аргументы в пользу внедрения RAG в условиях растущих объемов данных и необходимости быстрых и точных ответов. Валерий расскажет о том, как решать проблему нехватки точности данных в узких доменах, как научить LLM выполнять сложные задачи, требующие рассуждений и глубокого анализа, а также поделится кейсом, где RAG помог команде обучать модели на актуальных данных в режиме реального времени.

RAG-механики в платформе для создания ботов. Внедрение pre-retrieval и post-retrieval техник для повышения качества. Екатерина Лисовская и Денис Иванов из команды Salutebot расскажут о том, как менялся UX создания сценариев ботов, что дают новые инструменты, как они влияют на CJM и метрики, для каких сегментов бизнеса это наиболее актуально. Также поделятся лучшими практиками по наполнению базы знаний и подробностями поддержки и развития решения на базе RAG.

Много тонкостей, мало данных. Как построить RAG для документации по сложным продуктам, если у вас их больше 50? Татьяна Славкина из Cloud.ru в своем докладе расскажет о поэтапном запуске в пилотно-промышленную эксплуатацию многокомпонентной RAG-системы. Поделится вызовами, связанными с наличием данных: сбор, форматирование, парсинг, актуализация и сложностями с UX – что смущало пользователей, почему взаимодействие с RAG не всегда предсказуемо и не всегда приносило желаемые результаты.

Дискуссия «Какие возможности для программистов открывает genAI?»

Какие вопросы на повестке?

• Метрики эффективности производственного процесса: овервью и типичные трудности;

• Как вовлечь разработчиков в использование новых инструментов, какие механики использовать для масштабирования внутри компании?

• Как можно использовать AI в разных ролях: поддержки, дизайна, аналитики, солюшн-архитектуры, тестирования;

• Когда использование genAI становится cost-effective?

Больше спикеров и тем – на сайте Conversations! Присоединяйтесь! Участвовать можно и офлайн, и онлайн.

Промокод на скидку 10% для читателей Хабра: CNVS24RbH, билеты здесь. Стоимость билетов вырастет 24 ноября, успевайте!

Узнать о том, как это было в прошлом году, можно по ссылке.