Безопасность, оценка LLM и SQL-агенты: главное с митапа «ИИшная»

«ИИшная» — митап ЮMoney, посвящённый практическому применению генеративного ИИ. Вместо обсуждения абстрактных возможностей LLM спикеры сосредоточились на реальных инженерных задачах: безопасной работе с моделями, автоматизации их оценки и построении инструментов для аналитики. Если вы пропустили событие, собрали основные идеи из докладов и записи выступлений. 

• Локальная база знаний для работы с ИИ
  Один из докладов был посвящён организации персональной базы знаний с помощью Obsidian. Подход интересен тем, что позволяет хранить заметки локально в Markdown-формате, который легко использовать не только человеку, но и современным ИИ-агентам. Такой формат хорошо подходит для RAG-сценариев, персональных помощников и автоматизации работы с документацией без передачи данных во внешние сервисы.

• Как автоматизировать оценку LLM
  Ещё одна тема — построение собственного контура оценки языковых моделей. Спикеры показали подход, в котором:

  • Langfuse используется для сбора трассировок и анализа работы пайплайнов;

  • встроенный LLM-as-a-Judge помогает автоматизировать часть оценки качества ответов;

  • простой UI позволяет работать с датасетами, запускать эксперименты и сравнивать результаты разных моделей.

  Такой стек помогает быстрее проверять гипотезы, воспроизводить эксперименты и принимать решения на основе измеримых метрик, а не субъективных впечатлений.

• SQL-агенты для аналитики
  Отдельный доклад был посвящён построению SQL-агента на базе LangGraph. Вместо однократной генерации SQL-запроса агент выполняет задачу поэтапно:

  • уточняет запрос пользователя при необходимости;

  • строит SQL;

  • анализирует результат;

  • исправляет ошибки при неудачном выполнении;

  • использует память для продолжения диалога.

  Такой подход позволяет получать более качественные ответы при работе с аналитическими данными и снижает количество ошибок по сравнению с простыми Text-to-SQL решениями.

Записи докладов

Если не удалось попасть на митап лично, все выступления уже доступны в записи – во ВКонтакте или на Youtube. Также мы опубликовали фотографии с мероприятия.

Будем рады обратной связи: какие темы, связанные с генеративным ИИ, вам было бы интересно обсудить на следующих встречах?