Давно ли вы заходили на Stack Overflow? Только честно. — Я последние года два точно не был. Как-то отпала надобность. Причем даже сами вопросы подобного типа стали неактуальны — не человеческое это дело разбираться, как написать какой-то кусок кода. Это все для нас теперь делают агенты.
Посещаемость некогда сверхпопулярного ресурса для разработчиков упала катастрофически, и его дальнейшая судьба не внушает оптимизма. Остается только надеяться, что случится чудо и Stack Overflow сможет изобрести себя заново в полностью изменившейся среде.
За что мы его любили
Джефф Этвуд (Jeff Atwood) и Джоел Спольски (Joel Spolsky) запустили свой вебсайт вопросов и ответов для программистов в 2008 году. В те годы документация на многие продукты частенько оставляла желать лучшего (мягко говоря), а практических примеров использования было не найти днем с огнем.
Поэтому неудивительно, что этот проект довольно быстро вышел в топ благодаря своей уникальной модели — вместо традиционного для форумов флуда, он давал четкие ответы на конкретные вопросы. Причем эти ответы давали пользователи, которые сами уже понаступали на различные грабли и знали, о чем говорили, а система репутации поднимала наверх действительно полезные и работающие решения. Никаких дискуссий, никакой философии. Чисто инженерные знания, упакованные в очень удобный формат.
Кстати, GitHub родился в том же году на несколько месяцев раньше. Но тогда он был совсем другим — просто хранилище кода, удобное для коллективной разработки. А если надо с чем-то разобраться, то пожалуйте на Stack Overflow.
Что-то пошло не так
Сейчас принято во всем винить ИИ, но к моменту появления ChatGPT в 2022 году у Stack Overflow уже несколько лет наблюдался спад активности. ИИ лишь ускорил процесс, который начался раньше. — Что же случилось?
Банально, к середине 2010 годов кончились достойные вопросы. Достаточно было загуглить код ошибки, и в первых строках выдачи почти всегда находился ответ со Stack Overflow. Новички, которые осмеливались что-то спросить на сайте, нередко получали резкую отповедь, что тема давно обсуждена и закрыта, вы что, поиском пользоваться не умеете?
С одной стороны, это было логично: без строгой модерации база знаний быстро превратилась бы в хаотичный форум. Но с другой — утратился дух сообщества, где можно было получить совет от более опытных товарищей.
Параллельно повышалось качество документации, рос объем контента на YouTube и других ресурсах и это оттягивало на себя внимание. Да и GitHub обогатился разными сервисами и тоже стал годным источником информации.
Тем не менее, авторитет Stack Overflow как главного сайта для разработчиков был настолько незыблем, что в июне 2021 года инвестиционный холдинг Prosus отвалил за легендарный бренд 1,8 миллиардов долларов.
Честно говоря, странное решение. Пик славы продукта уже миновал, бизнес стагнировал. Да, были сервисы для корпоративных клиентов, но едав ли они могли обеспечить возврат инвестиций в таком объеме. На что вообще рассчитывали эти люди? И это они еще не знали, что скоро-скоро на арену выйдет ChatGPT… Интересно, кого-нибудь уволили за эту сделку?
ChatGPT меняет правила игры
События новейшего времени всем хорошо известны, нет нужды их пересказывать еще раз. Да, люди перестали задавать вопросы другим людям на Stack Overflow. Посещаемость упала практически до нуля.
Но это было не исключение, не какой-то персональный косяк менеджеров и команды. Похожая судьба постигла все сайты вопросов и ответов, которые правили бал с начала нулевых и примерно до конца 2010-х. Помните, были такие Quora, Yahoo! Answers, Expert Exchange и даже Ответы Mail.ru? А еще бесчисленное множество более мелких нишевых проектов. Они все канули в небытие или прозябают в безвестности.
Не ИИ их убил, сама модель себя исчерпала. ИИ просто поставил точку в этой истории.
Забастовка модераторов
Началась новая эпоха: рыскать по интернету в поисках ответов стали роботы, а не люди. И отвечать на вопросы стали LLM, а люди просто копипастили этот контент куда ни попадя.
И эти ранние энтузиасты ИИ породили лавину бессмысленного контента во всех областях, не только в программировании, что стало бедой для всех платформ, ситуация со Stack Overflow в этом смысле не была уникальна.
Но если сгенерированные ИИ картинки с котиками все равно вызывали умиление, то простыни кода, созданные ChatGPT и его товарищами никак не радовали модераторов Stack Overflow, которым приходилось вручную все это разгребать.
Естественной реакцией на такое положение дел стала попытка детектировать ИИ-код и не пропускать его на платформу. Но такая политика отдавала луддизмом. Ибо сам по себе ИИ ни плох, ни хорош, это просто инструмент, и все зависит от того, в чьих он руках. Эксперт может из чатика добыть полезную инфу, за которую все скажут только спасибо. Но беда в том, что, вооружившись ИИ-шечкой, каждый чайник мнит себя экспертом, и, увы, их большинство.
Руководство платформы, видимо опасаясь прослыть ретроградами, решило не вводить дискриминацию по подозрению, что код написан ИИ. В их позиции было рациональное зерно — все эти «детекторы ИИ» сами были несовершенны и давали много ложноположительных срабатываний, что приводило к конфликтам с реальными пользователями, а этого никто не хотел.
На мой взгляд, попытки определять авторство ИИ/человек по формальным признакам более, чем, наивны. Например, в этой статье полно длинных тире. Они мне просто нравятся, и я умею их ставить. Но многие свято верят, что этим тайным знанием обладает только ИИ.
Модераторы с этим не согласились и объявили забастовку.
Официальная информация:
В середине 2023 года Stack Exchange внесла несколько изменений в политику, связанную с контентом, созданным искусственным интеллектом. Это привело к тому, что часть добровольных модераторов объявила забастовку.
Протест был вызван политикой, опубликованной 29 мая, согласно которой использование инструментов определения AI-контента не разрешалось в рамках модерации.
В заявлении Stack Exchange подтвердили, что 11% модераторов прекратили модерацию контента в ответ на эту политику. К 22 июня эта доля выросла до более чем 23% всех модераторов сети, включая более 70% модераторов Stack Overflow.
Забастовка началась с публикации на Meta Stack Exchange, где выражались опасения относительно качества и точности AI-сгенерированного контента, а также недостатка прозрачности со стороны Stack Exchange при изменении политики.
Модераторы также утверждали, что версия политики, опубликованная публично, отличалась от версии, представленной им во внутреннем модераторском форуме. В частности, публичная версия не содержала формулировки, требующей от модераторов прекращения ограничений всего AI-контента.
В результате переговоров между Stack Exchange и модераторами были приняты новые правила, позволяющие модераторам удалять AI-контент при наличии сильных признаков использования GPT, а также компания обязалась продолжать предоставлять доступ к данным и API.
По итогам переговоров забастовка завершилась 2 августа 2023 года.
Вот вроде бы и вся история: пошумели и разошлись. Бывают же забастовки водителей грузовиков, шахтеров, учителей, госслужащих, авиадиспетчеров, даже актеров и сценаристов Голливуда. Почему бы и модераторам не побастовать?
Конечно, запрет на публикации ИИ-контента не решил бы проблем Stack Overflow, однако, по сути, забастовщики были во многом правы.
Темная сторона ИИ
Этот эпизод — не просто «конфликт модераторов». Это первая серьезная институциональная трещина, вызванная массовым появлением LLM-контента на платформе знаний.
Главная опасность в том, что нейрослоп зачастую выглядит весьма правдоподобным, оставаясь неверным. Если в гуманитарных областях, где действует принцип «Я — художник, я так вижу» такого ИИ-халтурщика вывести на чистую воду порой сложно, то с кодом проще: он либо работает, либо нет.
Но объем этой генерации захлестнул модераторов и парализовал работу. Причина забастовки была не в том, что модераторы скептически относились к ИИ — он создавал слишком много мусора и с этим надо было что-то делать.
И это было еще пол-беды. Можно было бы помозговать над техническими мерами и как-то обуздать эту лавину. Гораздо хуже было другое: ИИ разрушал институт репутации, на котором все и держалось.
Раньше эксперт тратил собственное время на то, чтобы написать содержательный и понятный ответ. Если ответ получался удачный, эксперт получал свои плюсы в карму.
Сейчас кто угодно может вбить вопрос в ChatGPT и за несколько секунд получить ответ. Осталась ли у кого-то мотивация становиться экспертом на Stack Overflow? Возможно, все еще да, но их количество явно снизилось.
Я провел несколько экспериментов — брал вопросы из Stack Overflow, просил чат ответить и сравнивал с ответами экспертов. Причем я выбрал очень узкую тему, в которой сам неплохо разбираюсь и знаю экспертов, которые отвечают на платформе.
Ну что вам сказать? — Чатик весьма неплохо справляется. Причем без всяких скиллов, MCP и прочих обвесов.
Вот это реально тревожит.
Нынешние LLM обучены на экспертных знаниях людей, в том числе, почерпнутых из Stack Overflow. Поступление новых знаний от людей прекратилось — ни задавать вопросы, ни отвечать, смысла больше нет. Откуда же возьмутся новые знания? Пока непонятно.
Stack Overflow: начало новой главы (может быть)
10 июня был анонсирован Stack Overflow for Agents. Как говорили наши комсомольские лидеры, не можешь остановить — возглавь! Вернуть разработчиков на сайт, чтобы они снова стали задавать вопросы и отвечать на них — нереально, ушла эпоха.
— Люди вышли из чата: «Нам тут делать нечего.»— Постойте! Давайте хотя бы посмотрим!
Но закрывать проект не хочется, поэтому надо что-то делать. Шаг логичный и ожидаемый: сегодня агенты стали основными потребителями информации о том, как писать код. Давайте сделаем систему удобной для них, и может быть что-то на этом заработаем.
Однако есть и реальная проблема агентского кодинга, которая подмечена верно:
Мы называем это «разрывом эфемерного интеллекта» (Ephemeral Intelligence Gap). Он создает дорогостоящий бесконечный цикл повторного изобретения, вынуждая миллионы независимых агентов снова и снова заново открывать одни и те же архитектурные решения и исправления ошибок. В конечном итоге это приводит к напрасному расходованию вычислительных ресурсов, потреблению драгоценных токенов и тормозит реализацию истинного потенциала эпохи агентных систем, оставляя разработчиков тратить часы на проверку результатов работы ИИ вместо того, чтобы воспользоваться обещанным ростом производительности.
Грубо говоря, агенты заняты тем, что изобретают бесконечное количество велосипедов.
— Тсс! Только не говорите Грете Турнберг, а то отключит всех наших агентов.
Как тогда работать?
Ну, окей, некоторые продвинутые вайб-кодеры учат своих агентов анализировать сессии и заносить полезные знания в долговременную память. Но это все на стадии экспериментов. Да и такая «память» зачастую это просто склад файлов в Obsidian.
Тем не менее, проблема существует. Агенты совершают одни и те же ошибки, и особенно больно, что они тратят на это ваши токены.
Идея заключается в том, чтобы построить базу знаний, доступную для агентов. Пожалуй, это может сработать — насколько я замечал, агент часто «плывет» на незнакомой задаче, но почти идеально отрабатывает если дать ему пример. Но как быть, если у меня нет примера?
— Мы построим базу проверенных решений, которые точно работают, говорит Stack Overflow.
Агенты будут сами проверять опубликованный код и отмечать, годный он или нет. — Все, как у людей!
Разумеется, агенты должны пахать на своего хозяина: разработчик связывает агента со своей учеткой и вся репутация, которою он наработает, зачтется вам.
Ну, что же, идея красивая. Может быть, и выстрелит. Пожелаем Stack Overflow удачи!
Полный перевод публикации читайте по ссылке
Подпишитесь на канал Agentic Enterpise — о жизни ИИ-агентов в кровавом энтерпрайзе
ссылка на оригинал статьи https://habr.com/ru/articles/1053392/