Yandex GPT + Excel: Автоматизация анализа данных через Python

Большие данные в Excel — большая головная боль.

Представьте: перед вами тысячи строк в Excel с опечатками и разными форматами. VBA и Python помогают, но… что если есть способ быстрее? Я нашел решение, которое экономит часы ручной работы.

Необходимо проверить соответствие данных справочника номенклатурным позициям. Это может быть: вид номенклатуры, единица измерения, количество штук в упаковке и т.п.

Можно использовать фильтры и другие инструменты, но в любом случае останется достаточное количество материалов из справочника, которые необходимо проверять вручную, а это уже рутина.

При поиске данных я заметил, что Yandex GPT в поисковике очень быстро выдает правильные результаты, если они не требуют глубокого анализа. Прочитав документацию от Yandex, как оказалось можно делать запросы при помощи API в Yandex Cloud – они начали тестировать облачную платформу для бизнеса ещё в июне 2023 года.

В основном сервис используется для:

• Чат боты и виртуальные ассистенты (поддержка клиентов)

• Генерация контента (описания товаров, посты)

• Оптимизация поиска по сайту

Хочу привести пару примеров применения Yandex GPT в анализе данных.

Примерытестирования Yandex GPT Lite на реальных данных

Пример 1: Проверка номенклатуры

Тестирование на «чистых» данных

Для чистоты эксперимента выгрузил заведомо «чистые» группы, где ошибки должны быть редкостью.
Результат: из 4092 позиций Yandex GPT посчитал, что 381 не соответствует действительности. Пробежавшись по ним, только 1 позиция была не в той группе

Тестирование на «грязных» данных

Для сравнения я взял другую выборку 1585 позиций, которые:

• Уже проходили предварительную нормализацию

• Заведомо содержали много некорректных данных

Результаты второй выборки: GPT определила 97.3%, как несоответствие, что достаточно хорошо.

В целом, для «грязных» справочников GPT– отличное решение для первичной очистки данных

Пример 2: Проверка количества штук в упаковке

Идея заключалась в том, чтобы проверить количество штук в упаковке по названию товара.

На тот момент я ещё не знал, что Yandex GPT использует «пустую» модель, в отличие от поисковой версии, которая уже дообучена.

Вот как это работает на практике:

prompt = (f"Ответь только числом без каких-либо пояснений. "           f"Сколько штук в упаковке у товара: {item_name}")

1. Для названия «Батарейка 1.5В Camelion, LR 6 Plus Alkaline, 1652» модель выдала 4 шт. (вероятно, среагировала на цифру 1652)»

2. Но если в наименование добавить «BL-2» («Батарейка…BL-2, 1652») GPT четко определила 2 шт. в упаковке.

Это значит, что:

• GPT точно распознаёт явные указатели по типу «BL-2»

• Без четких маркеров, может давать неточные ответы

• Отлично подходит для распознавания и извлечения атрибутов из нестандартизированных наименований

• Требуется ручная проверка

Описание работы Yandex GPT

Тарификация за запросы в Yandex GPT

• Все запросы платные: 1 запрос = 0,01 руб. (Версия Yandex GPT Lite)

• Анализ 4 000 позиций обошелся мне в 40 руб., что делает GPT доступным для небольших проектов

• Стоимость может меняться в зависимости от модели

Бесплатный грант для новых пользователей: Срок действия гранта – 60 дней (хватит на ~ 400 000 запросов).

Описание работы кода на Python:

Для начала необходимо получить folder_id и OAuth-token:

1. Заходим на страницу Yandex Cloud со своим Яндекс ID https://yandex.cloud/ru. Переходим в раздел «Консоль»

2. Создаем платежный аккаунт и привязываем карту любого российского банка

3. Для подключения к Yandex GPT нам необходим идентификатор папки folderID

4. Также нам необходим OAuth token, его можно получить по ссылке

Настройка и работа с API Yandex GPT

После получения folder_id и OAuth-token вам потребуется:

1. Установка сторонней библиотеки yandexgptlite

2. Настройки, которые влияют на результат: temperature – по стандарту установлен 0.6, но для более точных ответов советую 0.2-0.3 (чем выше значение, тем более непредсказуемым будет результат) и max_tokens – ограничивает длину ответа

import tkinter as tk from tkinter import filedialog import pandas as pd import time from yandexgptlite import YandexGPTLite  # Конфигурация YandexGPT FOLDER_ID = "b1************" TOKEN_ID = "y0__********************************************************"  # Инициализация YandexGPT gpt = YandexGPTLite(folder=FOLDER_ID, token=TOKEN_ID)  def check_category_match(material, category):     prompt = f"Соответствует ли наименование модели: {material} к виду номенклатуры: {category}. Ответь только ДА или НЕТ"     try:         response = gpt.create_completion(prompt=prompt, temperature=0.2, max_tokens=3)         return "ДА" if "ДА" in response.upper() else "НЕТ"     except Exception as e:         print(f"Ошибка: {e}")         return "Ошибка проверки"  def process_excel_file():     root = tk.Tk()     root.withdraw()          # Выбор файла     file_path = filedialog.askopenfilename(         title="Выберите Excel файл",         filetypes=[("Excel files", "*.xlsx *.xls"), ("All files", "*.*")]     )          if not file_path:         print("Файл не выбран.")         return      try:         df = pd.read_excel(file_path)                  required_columns = ["Наименование модели", "Наименование категории МП"]         for col in required_columns:             if col not in df.columns:                 print(f'Столбец "{col}" не найден')                 return          # Создание столбцов         if "Соответствие категории" not in df.columns:             df["Соответствие категории"] = ""          # Обработка каждой строчки         for index, row in df.iterrows():             material = str(row["Наименование модели"]).strip()             category = str(row["Наименование категории МП"]).strip()                          if not material or material == "nan":                 continue                          # Проверяем соответствие категории             if category and category != "nan":                 match_result = check_category_match(material, category)                 df.at[index, "Соответствие категории"] = match_result                          print(f"Материал: {material} | Соответствие: {match_result}")                          df.to_excel(file_path, index=False)             time.sleep(1)          print("Готово")      except Exception as e:         print(f"Ошибка: {e}")  process_excel_file()

Вывод

Плюсы:

• Довольно быстро (1 сек / 1 запрос)

• Недорого (от 0.01 руб. / запрос)

• Простая интеграция через Python

• Использование Yandex GPT без VPN в отличие от ChatGPT

Минусы:

• Требуется ручная проверка

• Платная модель

• Ограниченное использование

Yandex GPT – это недорогой и достаточно гибкий инструмент, особенно с учетом стартового гранта. Его можно использовать достаточно эффективно для анализа данных, только с ограничениями, которые описал выше.