Термин стал попадаться на глаза слишком часто. Для обычного базворда — явный перебор. Я полез разбираться. И наткнулся на кое-что, от чего у меня реально похолодело.
Все автомобилисты знают: у любого современного автомобиля есть специально заложенная в конструкцию сминаемая зона — та, что принимает на себя основной удар при аварии, гасит энергию столкновения и тем самым спасает водителя.
В 2019 году антрополог Madeleine Clare Elish из Data & Society взяла эту метафору и вывернула её наизнанку. Она ввела термин «moral crumple zone»: человек в сложной автоматизированной системе может стать таким же компонентом-поглотителем — только в отличие от автомобиля, здесь сминаемая зона защищает не человека, а систему. Ценой человека.
Шесть лет назад это была гипотеза одного антрополога. Сегодня — судя по тому, что я нашёл, когда три дня не вылезал из исследований, опросов разработчиков и полувековой психологии внимания, — это уже не гипотеза. Это диагноз.
Sonar опросил 1100+ разработчиков в январе 2026-го. Результат: 96% не уверены в функциональной корректности кода, который написал AI. Но вот в чём штука — проверяют его перед каждым коммитом меньше половины. AWS CTO Вернер Фогельс назвал это «verification debt»: AI ускоряет написание кода и одновременно замедляет его понимание, потому что генерировать стало проще, чем разбираться, что именно нагенерировали.
Один из участников свежего исследования (Baltes et al., март 2026) сформулировал это без дипломатии: «они буквально используют тебя, чтобы ты критически оценил их AI-слоп и дал ему следующий промпт».
Не разработчик. Промпт-конвейер с дипломом.
И нет, это не противоречие — «не доверяем, но не проверяем». Это два симптома одного диагноза. Человек давно не скептик. Он просто выгорел настолько, что выгорание начало косить под скептицизм. Разница есть. И она принципиальна.
Fraud-аналитики держатся не лучше — просто ломаются по другой схеме. 90–95% алертов от детект-систем — ложные. ACFE фиксирует: этот показатель почти не сдвинулся за десять лет — 97% в 2015-м, 93% в 2025-м. Десять лет. Миллиарды долларов вложены в технологии детекции. Минус четыре процента. Аналитик физически не может оставаться бдительным там, где сама архитектура системы с утра до вечера кормит его ложными тревогами.
Вот здесь я остановился. Потому что стандартные объяснения — «плохой менеджмент», «нет культуры качества», «людей не обучили» — больше не работали. Дело было не в индустрии. Дело было в физиологии.
Есть наука о бдительности — vigilance theory. Ей больше семидесяти лет. В середине XX века учёные сажали людей следить за редким сигналом в потоке однообразных данных. Снова и снова получали одно и то же: чем дольше ждёшь редкое событие в монотонном потоке — тем хуже его замечаешь. Учёные до сих пор спорят, почему именно так устроен мозг, — но в одном едины без исключений: это не лень и не слабая воля. Это фундаментальная закономерность, которую десятилетиями наблюдают на авиадиспетчерах, операторах АЭС и охранниках.
И что же мы сделали, зная об этом? Мы взяли ровно ту задачу, с которой человеческий мозг справляется хуже всего — «в девяти случаях из десяти всё нормально, но в десятом критическая ошибка, которую нельзя пропустить» — и системно отдали её человеку. Пятьдесят лет исследований говорят: именно такая структура задачи разрушает устойчивость внимания быстрее всего. Мы это знали. И всё равно отдали. Потому что эти оставшиеся случаи AI пока не вывозит.
Дальше — ещё веселее. Эксперимент на 2784 участниках (Beck et al., 2025): людей просили исправлять ошибки в AI-разметке. Два результата, после которых у меня окончательно сложилась картина. Первый: стоило чуть увеличить трудозатраты — попросить не просто пометить ошибку, но и вписать правильный вариант, — и люди начинали реже замечать ошибки вообще. Чуть больше усилий — и человек молча соглашается с неправильным ответом AI, лишь бы не возиться. Второй: скептики ловили ошибки заметно надёжнее тех, кто был к автоматизации изначально благосклонен. Развилка без хорошего выхода: скептик проверяет, лоялист подписывает не глядя.
Тут я и завис. Система ошиблась — кто виноват?
Бизнес: модель порекомендовала. Разработка: бизнес одобрил. QA: задокументировано, всё по процессу. Ревьюер: система дала такой ответ.
Все участвовали. Никто не владел решением.
Это и есть moral crumple zone в действии. Человека поставили «в цикл» не для того, чтобы он принимал решения. А чтобы было кому принять удар, когда решение окажется плохим. Живой буфер между системой и ответственностью. Оформленный как архитектурный паттерн.
Поэтому, когда мне говорят «у нас human-in-the-loop, мы в безопасности», я больше не веду себя вежливо. Я задаю два вопроса. Первый: сколько у этого человека реальной власти — не отклонить один кейс, а остановить систему целиком? Второй: что именно система объясняет ему перед тем, как он жмёт «одобрить» — сухой score без контекста или полноценный разбор того, откуда взялось это решение?
Если оба ответа невнятные — поздравляю. У вас не human-in-the-loop. У вас козёл отпущения, оформленный как архитектурное решение.
Обвинять конкретных людей здесь не за что. Мозг каждого из нас работает ровно так, как работал сотни тысяч лет. Вопрос не к людям в командах. Вопрос — к тем, кто проектирует задачи для этих людей.
Прямо сейчас на наших глазах выстраивается рынок труда, где человека системно делают вторым номером после машины — не потому что он хуже справляется с осмысленной работой, а потому что так дешевле закрыть последние проценты, до которых AI пока не дотягивается.
Вопрос к каждому, кто строит AI-продукты, проектирует процессы и нанимает людей в эти роли — прямой и без обиняков: вы строите human-in-the-loop как реальный контроль качества? Или как красивое алиби на случай, когда что-то пойдёт не так?
ссылка на оригинал статьи https://habr.com/ru/articles/1050556/