LangChain для бывалых: создаем свои инструменты

Наконец мы добрались до заключительной части сериала о фреймворке LangChain. Небольшое напоминание, о чем шла речь в предыдущих статьях:

• LangСhain: создаем свой AI в несколько строк Вводный обзор. Знакомились с ключевыми компонентами, включая модели, промпты, цепочки и агенты.

• LangChain для бывалых: память и агенты. часть 1 Здесь в основном разбирались в различных видах памяти.

• LangChain для бывалых: память и агенты. часть 2 Погрузились в концепцию агентов, и попробовали реализовать агента для запросов к собственной базе данных.

Сегодня попробуем разобраться в инструментах(Tool). Инструменты являются исполнительной частью агента, которая как раз и добавляет языковой модели дополнительную функциональность. Например, LLM может наврать в базовых арифметических операциях, и лучше доверить вычисления калькулятору. В этот момент и приходит на помощь tool. В самом фреймворке уже есть готовые реализации для популярных задач, но они, естественно, не могут покрыть весь спектр потребностей, поэтому разработчики предусмотрели создание пользовательских типов.

Как и всегда, будем двигаться от простого к сложному. Сначала реализуем простой кейс, а потом попробуем создать инструмент для визуализации спроса в нашем вымышленном магазине.

Решаем уравнения с помощью LLM

Попробуем обучить ChatGPT(в агентах я пока буду использовать только эту модель) решать кубические уравнения.

Сначала зададим вопрос напрямую:

from langchain.chat_models import ChatOpenAI from langchain.prompts.chat import HumanMessage  llm = ChatOpenAI(openai_api_key=open_ai_api_key, model_name='gpt-3.5-turbo', temperature=0.0)  answer = llm([HumanMessage(content='Реши кубическое уравнение 3*x**3 - 5*x**2 + 2*x - 13')])

Ответ ChatGPT:

Для далеких от математики людей приведу секретную формулу 16 века. Из которой видно, что бот врет не только в финальном ответе, но и в промежуточных вычислениях.

Попробуем теперь создать инструмент для этой цели. Исходя из соображений лени, я не буду реализовывать формулу Кардано в коде, а воспользуюсь готовым решением из numpy, тем более, что с помощью него можно решать уравнения и более высоких степеней.

from langchain.tools import BaseTool from numpy.polynomial import Polynomial  from langchain.agents import initialize_agent   class PolynomRootsTool(BaseTool):     name = 'Решатель полиномиальных уравнений'     # В описании указываем модели, когда следует вызывать этот инструмент     description = 'Используй этот иструмент для решения линейных, квадратных и уравнений более высоких степеней.\     На вход подавай коэффициенты уравнения(только числа). Если какого-то коэффициента нет, значит его значение равно 0'  def _run(self, inp):         coefs = [int(coef.strip()) for coef in inp.split(',')]         # В Polynomial надо подавать коэффициенты в обратном порядке         p = Polynomial(coefs[::-1])         return p.roots()          def _arun(self, *coefs):         raise NotImplementedError('Does not support async')

Здесь стоит обратить внимание на description — подсказка для LLM о том, как правильно использовать инструмент. Можете проэкспериментировать с разными вариациями промпта и самостоятельно убедиться, насколько важно грамотно продумывать такие описания.

Теперь можно создать агента и вызвать наш инструмент:

tools = [PolynomRootsTool()]  agent = initialize_agent(     agent='zero-shot-react-description',     tools=tools,     llm=llm,     verbose=True,     max_iterations=3,     early_stopping_method='generate', ) agent.run('Реши кубическое уравнение x**3 + 5*x**2 + 2*x - 12')

Неплохо справился. Правда иногда он не воспринимает комплексные числа, поэтому промпт требует доработки. Напомню, что можно всегда вытащить ваш шаблон для модели и отредактировать.

Учим бота рисовать графики

В прошлый раз наш агент получил доступ к python и попробовал написать простенькую модельку для анализа продаж. Вроде даже что-то получилось, но качество модели было так себе. Будет значительно удобней, если мы явно укажем агенту, какую модель стоит использовать для прогноза. Но сначала нам нужно получить данные:

from langchain.agents import create_sql_agent from langchain.agents.agent_toolkits import SQLDatabaseToolkit  from sqlalchemy import create_engine  engine = create_engine('sqlite:///tshirt_store.db') db = SQLDatabase(engine)  toolkit = SQLDatabaseToolkit(db=db, llm=llm)  db_agent_toolkit = create_sql_agent(     llm=llm,     toolkit=toolkit,     verbose=True )  db_data = db_agent_toolkit.run('Выведи количество заказов за каждый день мая 2023 года, игнорируй лимит. В качестве ответа предоставь список из кортежей (дата, количество)')

Отлично. Данные в кармане. Теперь попробуем визуализировать цифры:

import matplotlib.pyplot as plt from ast import literal_eval  class SalesVisualizerTool(BaseTool):     name = 'Визуализатор данных о продажах'     description = 'Используй этот инструмент для визуализации данных о продажах магазина. В качестве входных данных используй данные о продажах'     def _run(self, inp):         # Преобразование строки в список кортежей         sales_data = literal_eval(inp)         # Распаковка данных в два списка для дат и продаж         dates, sales = zip(*sales_data)         # Создание графика         plt.figure(figsize=(10, 6))         plt.plot(dates, sales, marker='o')                  plt.xlabel('Дата')         plt.xticks(range(0, len(dates), 5), dates[::5])                  plt.ylabel('Количество заказов')                  plt.title('Данные о продажах')         plt.grid(True)         plt.show()      def _arun(self, *sales_data):         raise NotImplementedError('Does not support async')

Хорошо, инструмент мы создали, но как передать в него данные, которые мы запрашиваем из базы данных?

Когда мы создаем агента, LangChain позволяет добавить в него не один, а множество инструментов : tools = [PolynomRootsTool()]. Однако наш случай немного отличается. Дело в том, что мы воспользовались специальным типом агента create_sql_agent и добавили в него тулкит из коробки toolkit = SQLDatabaseToolkit(db=db, llm=llm). Это уже не обычный список, в который можно просто так добавить новый элемент.

Давайте посмотрим на объект SQLDatabaseToolkit:

class SQLDatabaseToolkit(BaseToolkit):       """Toolkit for interacting with SQL databases."""          db: SQLDatabase = Field(exclude=True)       llm: BaseLanguageModel = Field(exclude=True)          @property       def dialect(self) -> str:           """Return string representation of dialect to use."""           return self.db.dialect          class Config:           """Configuration for this pydantic object."""              arbitrary_types_allowed = True          def get_tools(self) -> List[BaseTool]:           """Get the tools in the toolkit."""           return [               QuerySQLDataBaseTool(db=self.db),               InfoSQLDatabaseTool(db=self.db),               ListSQLDatabaseTool(db=self.db),               QueryCheckerTool(db=self.db, llm=self.llm),           ]

Ага, в методе get_tools как раз и передаются все инструменты для работы с базой данных. Давайте попробуем просто создать дочерний класс и переопределить метод get_tools:

class SQLDatabaseToolkitViz(SQLDatabaseToolkit):         def get_tools(self):             return [                 QuerySQLDataBaseTool(db=self.db),                 InfoSQLDatabaseTool(db=self.db),                 #ListSQLDatabaseTool(db=self.db),                 QueryCheckerTool(db=self.db, llm=self.llm),                 SalesVisualizerTool()             ]

К сожалению пришлось исключить ListSQLDatabaseTool из пайплайна, так как агент постоянно падал — надо будет подогнать промпт нового инструмента для согласованности с остальными.

Пора пробовать обновленный инструмент:

toolkit = SQLDatabaseToolkitViz(db=db, llm=llm)  db_agent_toolkit = create_sql_agent(     llm=llm,     toolkit=toolkit,     verbose=True )  db_agent_toolkit.run('сначала найди, а потом визуализируй количество заказов за каждый день мая 2023 года, не используй LIMIT')

Работает. Но в конце агент все равно падает. Дело в том, что при добавлении нашего инструмента мы нарушили «когерентность» промптов, которые закладывали разработчики, и теперь выводы модели не согласуются с запрограмированной логикой.

Нужно будет либо переписывать SQLDatabaseToolkit дальше, либо создавать свой собственный пайплайн инструментов. В конце концов, можно просто передать вывод агента базы на вход другого агента.

Аналогично можно создать инструмент и для моделирования наших данных для получения прогноза. Оставим это в качестве домашнего задания.

Наш сериал пора завершать. Я постарался раскрыть все возможности фрейворка, но верю, что энтузиасты наверняка найдут еще множество скрытых фишек. Надеюсь было полезно, спасибо за внимание!

Пишу про AI и NLP в телеграм.