OpenAI выпустила инструмент для обнаружения созданного ИИ текста

OpenAI выпустила классификатор текста AI, который определяет, был ли контент создан с помощью инструментов искусственного интеллекта, таких как ChatGPT.

Как объяснили разработчики, это «точно настроенная модель GPT, которая предсказывает, насколько вероятно, что фрагмент текста был сгенерирован искусственным интеллектом из различных источников». 

Сотрудники BleepingComputer уже протестировали новый классификатор и обнаружили, что у него есть ряд недочётов. Так, он правильно определил, что статьи портала написаны человеком, но при анализе контента, сгенерированного ChatGPT и чат-ботом You.com возникли сложности. В The Verge провели аналогичный эксперимент. В этом случае ИИ ошибочно помечал сгенерированные статьи CNET как созданные человеком.

Сама OpenAI предупреждает, что классификатор не следует использовать в качестве «единственного доказательства» для выявления заимствований, так как он «не совсем надёжен». Например, в оценках «сложного набора» английских текстов классификатор правильно выявляет лишь 26% написанного ИИ текста, в то время как текст, написанный человеком, ошибочно помечает как сгенерированный в 9% случаев.

Также компания обозначила ряд ограничений при использовании инструмента:

• требуется текст из минимум 1000 символов или 150-250 слов;

• сгенерированный текст легко отредактировать, чтобы обойти классификатор;

• инструмент, скорее всего, ошибётся в тексте, написанном детьми, и в тексте не на английском языке, потому что он был в основном обучен распознаванию англоязычного контента, написанного взрослыми.

Работа классификатора, вероятно, улучшится с течением времени и обучением на дополнительных данных. 

Между тем ChatGPT запретили в школах Нью-Йорка, Сиэтла, Лос-Анджелеса и Балтимора, а также в университетах во Франции и Индии.

Ранее аналогичный инструмент для обнаружения сгенерированного текста под названием GPTZero уже выпустил студент Эдвард Тиан для «обнаружения плагиата ИИ».