Исследование TrendAI (подразделение Trend Micro) фиксирует важный сдвиг в финансовой индустрии: внедрение искусственного интеллекта перестало быть экспериментом и стремительно становится операционной нормой. Однако вместе с этим формируется системный разрыв между скоростью внедрения агентного ИИ и зрелостью механизмов его контроля. Именно этот разрыв сегодня становится ключевым источником новых рисков для финансовых организаций.
Финансовый сектор — один из наиболее активных потребителей технологий ИИ, особенно в таких областях, как автоматическое выявление мошенничества, комплаенс-процедуры, кредитный скоринг и управление рисками. Агентные ИИ-системы, способные самостоятельно принимать решения и выполнять действия, всё чаще используются не как вспомогательные инструменты, а как полноценные участники бизнес-процессов.
Однако данные исследования, охватывающего 407 организаций в сфере финансовых услуг, страхования и бухгалтерского учёта, показывают, что институциональная готовность к такому уровню автономии остаётся ограниченной. Почти треть компаний (31%) не обладают достаточными инструментами наблюдаемости и аудита действий ИИ-агентов. Это означает, что в ряде случаев организации не могут в полной мере отследить, почему система приняла то или иное решение и как именно она его сформировала.
Подобная непрозрачность становится особенно критичной в условиях перехода к более автономным системам, где ИИ не просто анализирует данные, но и инициирует действия — например, блокирует транзакции, формирует отчётность или запускает процедуры проверки клиентов.
Давление на внедрение и ускоренная цифровизация
Одним из ключевых факторов, ускоряющих внедрение агентного ИИ, является конкурентное давление. Более двух третей (68%) организаций признают, что ощущают необходимость ускоренного принятия ИИ-решений, даже несмотря на сохраняющиеся опасения в области безопасности и регулирования.
При этом 15% респондентов оценивают связанные риски как «экстремальные». Тем не менее, это не останавливает процесс внедрения, что указывает на смещение приоритетов в сторону технологического лидерства и повышения эффективности, иногда в ущерб зрелости управления рисками.
Как подчёркивает Bharat Mistry, Field CTO в TrendAI, ключевая проблема заключается не в отсутствии понимания рисков, а в недостатке инструментов контроля. Разрыв между скоростью внедрения и качеством управления продолжает увеличиваться, формируя «серую зону» операционной неопределённости.
Недостаточная зрелость управления ИИ
Одним из наиболее тревожных выводов исследования является низкий уровень формализации управления ИИ. Лишь 21% организаций заявляют о наличии комплексных политик governance для ИИ-систем. Это означает, что в большинстве случаев отсутствуют единые стандарты того, как ИИ должен внедряться, контролироваться и при необходимости ограничиваться.
Параллельно только 32% компаний уверенно понимают применимые регуляторные требования в области ИИ. Это создаёт дополнительную неопределённость, особенно в условиях быстро развивающегося законодательства и различий между юрисдикциями.
В результате 44% организаций называют регуляторную неопределённость одним из ключевых барьеров для дальнейшего масштабирования ИИ.
Изменение структуры рисков
По мере роста автономности систем меняется и профиль угроз. Если ранее основной фокус был направлен на классические риски кибербезопасности, то теперь на первый план выходят специфические угрозы, связанные с поведением самих ИИ-агентов.
Наиболее значимой проблемой для 40% организаций остаётся утечка конфиденциальных данных. Однако почти столь же важными становятся:
-
расширение поверхности кибератак (34%),
-
риски неконтролируемых действий автономных систем (32%).
Отдельно выделяется проблема атак на ИИ-модели, в частности prompt injection, когда злоумышленники воздействуют на систему через специально сформированные входные данные. Несмотря на растущую актуальность этого класса угроз, лишь 30% организаций рассматривают его как серьёзный риск, что указывает на сохраняющийся разрыв между теоретической и практической осведомлённостью.
Контрольные механизмы и вопрос «экстренного выключения»
Одним из наиболее показательных результатов исследования является отношение компаний к механизмам аварийного контроля. Только 40% поддерживают идею внедрения так называемых «kill switches» — механизмов экстренного отключения ИИ-систем при выявлении аномального поведения.
При этом 46% компаний не имеют чёткой позиции по этому вопросу. Такая неопределённость демонстрирует отсутствие консенсуса относительно того, где должна проходить граница человеческого вмешательства в автономные системы.
Вывод: технологическая зрелость опережает управленческую
Общий вывод исследования TrendAI заключается в том, что финансовая индустрия переживает этап, когда технологическая зрелость начинает опережать управленческую. Организации активно внедряют агентный ИИ и интегрируют его в критически важные бизнес-процессы, однако системы контроля, аудита и регулирования остаются недостаточно развитыми.
Это создаёт фундаментальное напряжение: с одной стороны — стремление к эффективности и автоматизации, с другой — растущая сложность управления автономными системами, которые действуют с высокой степенью независимости.
В долгосрочной перспективе ключевым фактором успеха станет не только способность внедрять ИИ, но и способность выстраивать прозрачные, проверяемые и регулируемые механизмы его контроля. Именно эта управленческая зрелость, а не скорость внедрения, будет определять устойчивость финансовых организаций в эпоху агентного искусственного интеллекта.
Источник: Fintech Magazine
Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про финтех, стейблкоины и AI, а также делимся полезными мастридами и актуальными событиями.
ссылка на оригинал статьи https://habr.com/ru/articles/1029586/