Я техписатель, чьи тексты принимают за ИИ-шные. И вот что выяснилось…

Так случается: пишешь текст сам, вычитываешь, вычищаешь, убираешь воду – а потом коллега спрашивает: «Это ChatGPT?»

Я технический писатель команды в IT-команде. По долгу службы – UX-тексты, продуктовые материалы, презентации, инструкции. Уже становится похоже на резюме, но разговор пойдёт не о карьере.

Речь о том, что иногда мои статьи, документацию и маркетинговые тексты воспринимают как ИИ-шные. И меня это несколько тревожит.

Да, я использую ИИ для набора фактуры, поиска информации, проверки источников и гипотез. И это во многом, нет, не ускоряет, а улучшает качество моего конечного материала. Но это не значит, что мои тексты полностью создаются с помощью ИИ.

На одном уважаемом портале мою статью, кстати, отвергли, потому что она «с высокой долей вероятности была написана с помощью ИИ». Ну вы понимаете, да?

И я решил провести исследование.

Не академическое, без гранта, этического комитета и красивой кафедры на обложке. Просто нормальное домашнее исследование человека, которому стало интересно, почему его внезапно начали принимать за Т9.

Методика была такая.

Я взял три группы текстов:

– свои старые тексты до массового появления ChatGPT (рекламные, сценарные, презентационные, то есть ещё до перехода в техническую документацию);
– свои новые тексты, где ИИ использовался как справочник, черновик гипотез и собеседник;
– тексты, полностью сгенерированные ИИ по похожим темам.

Дальше я прогнал их через простую стилистическую мясорубку: длина предложений, частотные слова, доля вводных конструкций, повторы синтаксических шаблонов, плотность терминов, распределение абзацев, «бурстность» текста – то есть насколько текст дышит неровно, а не идёт ровной плиткой.

Для красоты можно записать так:

S(text) = [
sent_len,
burstiness,
intro_rate,
term_density,
comma_rate,
dash_rate
]

Где:

– sent_len – средняя длина предложения;
– burstiness – неровность ритма;
– intro_rate – вводные конструкции на 1000 слов;
– term_density – технические термины на 1000 слов;
– comma_rate – запятые на 1000 слов;
– dash_rate – средние тире на 1000 слов.

А расстояние между двумя текстами считать примерно так:

D(A,B) = 1 - cos(S_A, S_B)

Где чем меньше D, тем ближе тексты стилистически.

Что получилось

Три корпуса по пять текстов:

– OLD: рекламные, сценарные и презентационные тексты – то, что я писал до перехода в техническую документацию.
– NEW: продуктовые и технические материалы – документация, объясняющие статьи, форумные посты и тексты для пользователей.
– AI: пять статей, сгенерированных GPT на похожие технические темы.

Сразу оговорка: это не академическая стилометрия и не попытка доказать авторство по шести числам. Это бытовой эксперимент на малой выборке. Он показывает не «кто написал текст», а как выбранные жанровые признаки сближают или разводят корпуса.

По отдельным метрикам тексты не совпадают. ИИ заметно чаще сыплет вводными конструкциями. Я чаще использую среднее тире. У ИИ выше плотность запятых – он любит вежливые уточняющие обороты.

Это грубая модель: результат зависит от набора признаков и способа их сведения в один вектор. Но если свести метрики в один вектор и посчитать косинусное расстояние между корпусами, картина выходит другая:

Честно говоря, не ожидал увидеть ничтожное 0,03. Я себе представлял, что мои новые тексты окажутся где-то ближе к середине. А они оказались почти вплотную к ИИ. Потому что хороший технический текст и любой ИИ-текст оптимизированы под одно и то же: ясность, структуру и отсутствие лишнего.

Мои продуктово-технические тексты оказались в семь раз ближе к ИИ-генерациям, чем мои старые рекламные и сценарные материалы. Не потому, что я тайно был нейросетью с 2000 года. А потому, что хороший технический текст всегда стремился к тому, что теперь умеет имитировать ИИ:

– ровная структура;
– ясные определения;
– отсутствие лишней лирики;
– аккуратные переходы;
– одинаковая терминология;
– проверяемые формулировки;
– минимум авторского самолюбования.

Хотя сейчас, конечно, предыдущий абзац является ярким примером самолюбования, и можете меня за это смело пнуть. Но это лишь выводы моего эксперимента. Который подтверждает мою гипотезу: всё то, за что раньше хвалили технического писателя, теперь стало подозрительным.

Где теряется лицо автора

У автора обычно есть лицо. Иногда приятное, иногда нет. Есть блистательные гении и «Эллочки-людоедки».

У технического писателя лицо обычно неяркое. Мы не должны блистать. Но должны сделать так, чтобы администратор понял, куда нажать, какой атрибут не трогать и почему восстановление объекта не равно восстановлению всех его связей.

Хороший техписатель годами вырабатывает стиль, который почти не виден.

А потом приходит большая языковая модель, обученная на миллионах маленьких текстов, и начинает писать похоже. Не как конкретный я. Конечно, не надо впадать в манию величия. Но как средний аккуратный автор технической документации, который получает за свою работу зарплату, а не токены.

И вот тут начинается смешное.
Если я пишу плохо – я человек.
Если я пишу ровно – я ИИ.

Если я добавляю кривую фразу, бытовую злость и одно странное сравнение – снова человек.

Если вычитываю текст и убираю мусор – опять ИИ.

Получается обратная мотивация: чтобы доказать человеческое происхождение текста, нужно намеренно ухудшить его.

Это примерно как оставлять в коде пару кривых мест, чтобы ревьюер понял: «Да, наш человек писал».

У меня был похожий случай. Я сократил инструкцию с двенадцати страниц до четырёх. Убрал воду, повторы, лишние оговорки и прочий мусор. Коллега прочитал и спросил: «Ты это через ChatGPT прогнал?»
Нет. Я прогнал через четыре итерации и здравый смысл. Но результат выглядел «слишком чисто».

Что наводит на мысль, что я – ИИ

Я не думаю, что человек, читая текст, каждый раз запускает внутри себя сложный классификатор. Обычно всё проще.

Есть ощущение.

Слишком ровно и связно.
Па-азвольте, а ашипки-то где, ачепятки?
Дизайнерски аккуратные абзацы.
Предсказуемая логика.
Полный штиль там, где живой человек вроде бы должен вспотеть, сорваться, вставить байку, пожаловаться на жизнь или хотя бы один раз неудачно пошутить.

И это, как выяснилось, не только мои ощущения.

В 2023 году несколько университетов обвинили своих студентов в «использовании ИИ» – на основании результатов детекторов вроде GPTZero и Turnitin. Поговаривали, что даже кого-то хотели отчислить, но это не точно. Часть таких историй потом разваливалась: тексты оказались написаны людьми. Проблема оказалась настолько массовой, что OpenAI в том же году закрыла собственный AI-классификатор – он давал ложноположительные срабатывания в 9% случаев. Каждый одиннадцатый честный текст помечался как машинный.

Для художественной прозы или эссе это неприятно. Для технической документации – тем более. Потому что техническая документация по природе своей ровная, терминологичная и без авторского самовыражения. То есть похожа на ИИ не потому, что написана ИИ, а потому, что жанр такой.

Но проблема в том, что технический текст как раз и должен быть таким.

Он не обязан показывать весь процесс страдания автора. Читатель не видит, как абзац переписывался восемь раз. Не видит, как я спорил с формулировкой, выкидывал красивую, но бесполезную фразу, проверял термин, возвращал удалённое предложение, снова удалял его и в итоге оставлял скучную версию, потому что она точнее.

На выходе остаётся чистовой текст.

А чистовой текст теперь подозрителен.

Получается странная подмена. Мы смотрим не на то, как текст был сделан, а на то, насколько он похож на то, что мог бы сделать ИИ.

P(похоже на ИИ | текст) ≠ P(текст написал ИИ)

Это не одно и то же.

Первое: впечатление от поверхности текста.
Второе: реальный процесс его производства.

Между ними стоит всё человеческое: черновики, правки, источники, опыт, раздражение, спор с коллегой, вычитка ночью под пиво, удалённый абзац, который был красивый, но мешал смыслу.

ИИ в моей работе есть. Но автор – не он.

Я использую ИИ примерно так же, как использую поиск, документацию, заметки и чужие вопросы.

Он помогает найти информацию по теме и не вспотеет.
Проверит, не напутал ли я чего, и не скажет, «Братан, ну ты чего?».
Подкинет статистику и новости – я и сам умею, но не люблю копаться…
Укажет на «воду» в тексте там, где и без этого Сахара.
Подберёт синоним – но я сам решу использовать его, или нет
Сделает резюме огромного текста, и сэкономит мне время на сериальчик.

Но итоговый текст – это не сумма подсказок. Это выбор, что оставить, что выкинуть, где упростить, где не врать ради гладкости, где написать «не делайте так», хотя маркетингово это звучит не очень бодро.

Самая опасная часть ИИ не в том, что он пишет за автора.

Самая опасная часть в том, что теперь любой аккуратный текст начинают читать как подозреваемого.

Итог

Возможно, скоро нам придётся прикладывать к статье не только ссылки и картинки, но и журнал сборки автора:

draft_01.docx
draft_02_после_злости.docx
final_final_без_воды.docx
final_final_точно_человек.docx

А пока получается странная вещь.

Я много лет учился писать так, чтобы текст не мешал смыслу. Теперь это называется «похоже на ИИ». Но это не проблема стиля автора – проблема в том, что мы судим о тексте по внешнему виду, а не по смыслу. Если мы начнём оценивать тексты по принципу «достаточно ли здесь мусора, чтобы выглядеть по-человечески», то кто от этого выиграет? Не те ли, кто умеет правдоподобно имитировать беспорядок?