Глава CrowdStrike Джордж Куртц: по состоянию на 25 июля 97% ПК клиентов компании на Windows снова в работе после IT-сбоя

Глава CrowdStrike Джордж Куртц (бывший технический директор McAfee и автор книги Hacking Expeded) заявил, что по состоянию на 25 июля (спустя неделю после инцидента) 97% ПК клиентов компании на Windows снова в работе после глобального IT-сбоя, который произошёл 19 июля из-за логической ошибки в коде в файле размером 40,04 КБ с обновлением для ИБ-сенсора Falcon, которую с помощью тестового ПО внутри CrowdStrike разработчики защитной системы обнаружить не смогли.

«Я хочу поделиться тем, что более 97% сенсоров Falcon на ПК с Windows вернулись в сеть по состоянию на 25 июля. Этот прогресс стал возможным благодаря неустанным усилиям наших клиентов, партнёров и преданности нашей команды в CrowdStrike. Однако мы понимаем, что наша работа ещё не завершена, и мы по-прежнему стремимся восстановить каждую затронутую систему.

Нашим клиентам, всё ещё пострадавшим: пожалуйста, знайте, что мы не успокоимся, пока не достигнем полного восстановления. В CrowdStrike наша миссия — заслужить ваше доверие, защищая ваши системы и бизнес. Я глубоко сожалею о сбоях, вызванных этим отключением, и лично приношу извинения всем, кого это коснулось. Хотя я не могу обещать совершенства, я могу обещать целенаправленный, эффективный и безотлагательный ответ.

Наши усилия по восстановлению были улучшены благодаря разработке автоматических методов восстановления и мобилизации всех наших ресурсов для поддержки наших клиентов. Мы опубликовали предварительный отчёт об инциденте (PIR), в котором подробно описано, как это произошло, и какие меры мы принимаем для предотвращения подобных инцидентов в будущем.

CrowdStrike стремится развивать свою миссию по предотвращению нарушений, вновь сосредоточившись на контроле ПК клиентов и устойчивости ПО. Одержимость клиентами всегда была нашим руководящим принципом, и этот опыт только укрепил нашу решимость.

Спасибо за ваше терпение, поддержку и доверие»,

— пояснил Куртц.

CrowdStrike пообещала более тщательно тестировать обновления, улучшить обработку ошибок в коде и реализовать поэтапное развёртывание патчей, чтобы избежать повторения этой IT-катастрофы.

Parametrix, ведущий поставщик услуг облачного мониторинга, моделирования и страхования, подсчитал, что общий прямой финансовый ущерб, понесённый американскими компаниями из списка Fortune 500 (за исключением Microsoft) в результате сбоя CrowdStrike 19 июля, составляет $5,4 млрд. Часть убытков, покрываемая полисом киберстрахования, скорее всего, составит не более 10–20% из-за того, что многие компании удерживают большие риски, а также из-за низких лимитов полиса по сравнению с потенциальными потерями из-за сбоев. Средневзвешенный убыток составляет $44 млн на компанию из списка Fortune 500, но колеблется от $6 млн (компании-производители) до $143 млн (авиакомпании).

Microsoft сообщила, что количество столкнувшихся с глобальным сбоем в работе ПК и серверов на Windows из-за некорректного обновления ИБ-приложения CrowdStrike, где возник синий экран смерти (BSOD), составляло не менее 8,5 млн штук.

Сбой в работе миллионов ПК на базе операционной системы Windows мог случиться из-за договора между Еврокомиссией и компанией Microsoft, согласно которому разработчикам ПО информационной безопасности предоставляется доступ к ядру ОС. Об этом сообщила Wall Street Journal (WSJ) со ссылкой на представителя Microsoft.

24 июля американская ИБ-компания CrowdStrike предложила своим клиентам и по факту жертвам глобального сбоя с BSOD на Windows в США и Великобритании подарочные карты на доставку еды в Uber Eats размером по $10 (£7,75), которые даже не активируются. Такого купона хватит на кофе или на небольшой набор продуктов, если по акции и со скидкой. В компании признали «дополнительную работу сотрудников техподдержки своих клиентов, вызванную инцидентом 19 июля». «И за это мы выражаем нашу сердечную благодарность и приносим извинения за неудобства. Чтобы выразить нашу благодарность, мы оплачиваем вашу следующую чашку кофе или поздний перекус!», — говорится в электронном письме от CrowdStrike.

Представитель CrowdStrike прокомментировал СМИ инцидент с подарочными картами: «CrowdStrike не отправлял подарочные карты клиентам или заказчикам. Мы отправили их нашим товарищам по команде и партнёрам, которые помогали клиентам в этой ситуации. Uber пометил это как мошенничество из-за высоких показателей использования».

Сотрудники техподдержки по всему миру неделю продолжали исправлять BSOD в парках ПК на Windows из-за ошибки в ПО CrowdStrike. Им нужно было загрузить систему в Safe mode и выполнить некоторые команды или поработать с реестром. Если диск ПК защищён шифрованием BitLocker, то нужно было найти и ввести ключ восстановления BitLocker в каждой системе, а затем продолжить исправление обновления CrowdStrike, пока не заработают все компьютеры в организации. В большинстве организаций этот процесс занял до трёх суток, но в больших компаниях даже при мобилизации всего персонала команд техподдержки и системных администраторов решение этой проблемы может занять до недели или более из-за сложностей физического доступа к каждому ПК и удалённых месторасположений части филиалов.

С утра 19 июля 2024 года системные администраторы и инженеры в сменах по 10-16 часов на полу, на коленях, на лестницах, в машзалах, больницах, на заводах и в полицейских участках возвращали к жизни ПК, умные панели, киоски с билетами, серверы и ноутбуки вручную, удалённое подключение не работало.