Эти графики показывают, как меняется амплитуда, частота и длительность сейсмических волн. С их помощью определяют, где произошло землетрясение, насколько оно было глубоким и мощным и что его вызвало. Эти данные используют, чтобы предсказать, как толчки повлияют на здания и инфраструктуру, а ещё для наблюдения за вулканами. Особенно на Камчатке, где молодожёны иногда вешают замки на сейсмографы.
Логика работы сейсмографа оказалась рабочей метафорой и моделью для разработки аналитических инструментов в финтехе.
Сейсмограф графа Голицина
Минутка истории: в 1906 году Борис Борисович Голицын создал электромагнитный сейсмограф. Он первым использовал принцип электромагнитной индукции для преобразования механических колебаний, которые возникают при землетрясениях, в электрические сигналы. До Голицына сейсмографы в основном были механическими или оптическими приборами, которые передавали движения массы на регистрирующую систему через механические или световые компоненты.
Сейсмограф Голицына основан на работе маятника с катушками, которые смещаются в магнитном поле при колебаниях земли. Эти движения превращаются в электрический сигнал, фиксирующий сейсмическую активность. Вторичное магнитное поле, возникающее в катушке, стабилизирует маятник, предотвращая его излишние колебания.
Голицын не только использовал электрические методы для записи землетрясений. Он разработал математические модели, описывающие их поведение, и предложил способ сопоставления сигналов с фактическими смещениями почвы — ключевой шаг для изучения землетрясений. Это упростило определение эпицентров и направлений распространения сейсмических волн.
Сейсмология стала основываться на точных измерениях, а данные стали ключом к пониманию природы землетрясений и прогнозированию их последствий.
И понеслось…
Данные мало собрать, нужна аналитика
Этот Seismic Monitor позволяет вести мониторинг глобальных землетрясений практически в режиме реального времени
Современная сейсмология накопила огромный массив данных, которые помогают лучше понять закономерности землетрясений. Эти данные стали основой для новых исследований и построения систем аналитики для прогнозирования сейсмической активности и разработки мер по снижению риска катастроф. Правда, точные долгосрочные прогнозы пока недоступны.
Но уже сейчас аналитика сейсмоданных успешно работает в таких направлениях:
- Системы раннего предупреждения: например, в США работает система ShakeAlert, которая анализирует данные сейсмографов и предупреждает о землетрясении за несколько секунд до того, как толчки достигнут поверхности. Эти секунды позволяют остановить поезда, отключить электроэнергию и спасти жизни.
- Прогнозирование вероятности: модели машинного обучения изучают исторические данные о сейсмической активности и помогают прогнозировать, где могут происходить сильные толчки в будущем.
- Инфраструктурное планирование: данные используются инженерами для проектирования сейсмоустойчивых зданий и мостов.
- Мониторинг вулканической активности: колебания земной коры часто сопровождают движение магмы. Анализ сейсмограмм помогает предсказать извержения.
Интеграция реальных данных и современных технологий спасает жизни, минимизирует экономический ущерб и повышает общую готовность к стихийным бедствиям. Работать с такой аналитикой — значит быть на острие науки, где каждый сигнал может предотвратить катастрофу.
Какие модели применяются в аналитике
Интерпретацией данных долгое время занимались люди, но потом пришли машины. Машинное обучение позволяет находить закономерности и сигналы, которые сложно заметить вручную. Например, модель PhaseNet, основанная на глубоком обучении, автоматизирует процесс идентификации слабых сейсмических сигналов P- и S-типов. В одном из исследований, посвящённых региону Тохоку в Японии, PhaseNet выявила тысячи слабых сейсмических толчков, которые не были зафиксированы традиционными методами. Модель, основанная на глубоких нейронных сетях, продемонстрировала более высокую точность в сравнении с существующими системами, такими как WIN и автоматическая система локации землетрясений Тохоку. Примерно 53,2% P-волн и 24,7% S-волн были точно идентифицированы с использованием PhaseNet, что вдвое превышает показатели других методов. Это позволило существенно улучшить мониторинг слабых сейсмических событий в прибрежной зоне Японии.
Кроме того, классификация сейсмических событий с использованием свёрточных нейронных сетей (CNN) показала себя эффективнее традиционных методов. CNN показали эффективность в классификации сейсмических событий и работали лучше традиционных методов, особенно в условиях низкого соотношения сигнал/шум. Например, исследование, проведённое в Канаде, показало, что CNN позволяют обнаруживать большее количество событий при меньших вычислительных затратах. Алгоритмы CNN обрабатывают данные во временной и в частотной области, улучшая различение между землетрясениями и шумами. В одном из проектов была достигнута точность классификации около 99%, включая точное определение фаз P- и S-волн.
А применение гибридных методик, включающих свёрточные нейросети с предварительной обработкой сигналов, позволяет учитывать как локальные, так и глобальные особенности данных.
Для прогнозирования землетрясений и частоты их появления сегодня применяют алгоритмы временных рядов. Они помогают обеспечить:
- Детекцию событий: алгоритмы, такие как автокорреляция и рекуррентные нейронные сети (RNN), используются для обнаружения слабых сейсмических сигналов, которые могут ускользнуть при ручной обработке. Это особенно важно для мониторинга микросейсмической активности, например, связанной с горными работами или гидроразрывом пласта.
- Классификацию сигналов: временные ряды позволяют классифицировать сигналы, отделяя землетрясения от других источников, таких как взрывы или шумы. Это упрощает анализ сложных данных, поступающих из регионов с высокой сейсмической активностью.
- Прогнозирование: модели, такие как ARIMA (авторегрессионная модель интегрированного скользящего среднего) или LSTM (долгосрочная краткосрочная память), используются для построения прогнозов развития сейсмической активности. Например, они помогают предсказать афтершоки после крупных землетрясений, анализируя последовательность событий и изменения параметров волн.
- Изучение связи между событиями: алгоритмы временных рядов применяются для анализа каскадных эффектов и взаимосвязей между толчками. Это помогает понять процессы «переключения» энергии в разломах и построить более точные карты рисков.
Иллюстрация блоков памяти FFNN, RNN и LSTM: (a) FFNN; (b) RNN; © блок памяти LSTM
Гибридные модели временных рядов с использованием графовых нейронных сетей позволяют не только изучать отдельные события, но и строить сложные пространственно-временные модели. Это стало возможным благодаря доступу к данным из обширных сетей сейсмографов, таких как USGS или японская сеть S-Net, где временные ряды используются для анализа землетрясений и вторичных явлений, например, цунами.
Как финтех вдохновился сейсмографами и к чему это ведёт
Идея фиксации мелких колебаний для традиционных финансов не просто метафора — эти принципы перекликаются. Алгоритмы анализа временных рядов, которые мы используем для мониторинга рынков, во многом напоминают сейсмографы, фиксирующие и анализирующие вибрации земли.
Финансовые системы работают аналогично сейсмографам, только вместо колебаний земной коры они отслеживают ценовые движения, объёмы торгов и прочие рыночные параметры. Важно то, что и в сейсмологии, и в финтехе нас интересует не просто сигнал, а его структура: закономерности, тренды, аномалии.
Современные методы анализа временных рядов включают работу с высокочувствительными алгоритмами, которые напоминают трёхкомпонентные сейсмографы. Мы измеряем колебания рынков в разных осях: временной (исторические данные), пространственной (региональные и глобальные рынки) и объёмной (ликвидность). Как и сейсмограммы, временные ряды часто содержат шум, который нужно фильтровать, чтобы выделить значимые сигналы.
Долгое время в финансовой сфере использовали проверенные статистические модели — те же ARIMA и методы экспоненциального сглаживания. Модели ARIMA отлично справляются с улавливанием линейных тенденций и сезонности в данных временных рядов и удобны для прогнозирования экономических показателей с чёткими закономерностями во времени. Однако они плохо работают с нелинейными зависимостями и неустойчивыми данными.
LSTM (Long Short-Term Memory) активно используется для прогнозирования временных рядов в финансовой сфере. Например, модель может быть применена для прогнозирования цены акций. Данные о прошлых ценах, объёме торгов, рыночных индикаторах и новостных событиях подаются в LSTM, которая извлекает временные зависимости из этих данных.
Пример: модель обучается на исторических данных о ценах акций, чтобы спрогнозировать закрытую цену на следующий день. LSTM эффективна в таких задачах, поскольку она может учитывать долгосрочные зависимости (например, влияние давнего тренда) и фильтровать шум.
Методы экспоненциального сглаживания, напротив, эффективно отражают краткосрочные колебания и сглаживают шум в данных временных рядов. Они отлично подходят для сценариев, в которых последние наблюдения более важны для прогнозирования, чем отдалённые исторические данные. Несмотря на свои достоинства, у них есть ограничения при работе с более сложными нестационарными данными.
LSTM и гибридные модели CNN-BiLSTM заметно повысили точность анализа — за счёт способности улавливать нелинейные закономерности на динамичных рынках, повышения точности и надёжности прогнозирования.
CNN-BiLSTM сочетает преимущества свёрточных нейронных сетей (CNN) и двунаправленных LSTM. CNN используется для извлечения признаков, которые представляют структурные паттерны в данных (например, краткосрочные изменения в ценах), а BiLSTM анализирует временные зависимости, двигаясь в обоих направлениях — вперёд и назад.
Пример: прогнозирование волатильности на рынке криптовалют. CNN выявляет локальные тренды в исторических данных о цене и объёме, а BiLSTM обрабатывает эти признаки, чтобы учесть долгосрочные зависимости. Такая модель может быть полезна для краткосрочного управления рисками или автоматической торговли.
В последнее время стали использовать модель Transformer от Google (которая изначально была разработана для обработки текстов, но хорошо зарекомендовала себя и в задачах временных рядов) и её более эффективную версию Informer, оптимизированную для временных рядов в качестве замены LSTM. Этот алгоритм превосходит LSTM и по точности, и по вычислительной эффективности.
Пример: представьте, что мы хотим спрогнозировать падение акций определённой компании. Алгоритм анализирует временные ряды цен, выявляет резкие аномалии (подобные «толчкам» в сейсмологии) и сопоставляет их с контекстными данными — новостями, макроэкономическими индикаторами и поведением других активов. Если обнаруживается закономерность, сигнал поступает в систему управления рисками, которая может автоматически предупредить трейдера или даже заблокировать убыточные операции.
Актуальные системы мониторинга финансовых рисков часто интегрируют несколько подходов. Например, гибридные модели соединяют временные ряды с графовыми алгоритмами для анализа связей между участниками рынка. Это особенно полезно для выявления каскадных эффектов, вроде тех, что произошли во время кризиса 2008 года, когда обвал ипотечных ценных бумаг вызвал глобальное финансовое «землетрясение».
Падение экономики в странах мира к концу 2008 года (насыщенность красного цвета по степени падения)
Технологии анализа временных рядов не только облегчают понимание сложных рыночных данных, но и становятся основой для предиктивной аналитики.
Предиктивная аналитика (Predictive Analytics, PA)
Это предсказательная, прогнозная аналитика, которая отвечает на вопрос: «Что может произойти?»
Она позволяет организациям предугадывать потребности клиентов, оптимизировать операции и снижать риски, что в итоге меняет подход к финансам. Но это требует использования сложных технологий, которые только развиваются, и квалифицированных специалистов для успешной интеграции таких решений в практику.
Полезная информация поступает по различным каналам, но сырые данные имеют ограниченное значение, пока их не объединят с другими источниками и не преобразуют в информацию для принятия решений. Данные приобретают актуальность и открывают ценные сведения благодаря контексту — например, данных о продажах в рамках исторических данных или рыночных тенденций. Неожиданно эти цифры могут свидетельствовать о росте или спаде по сравнению с контрольными показателями или в результате реализации конкретных стратегий.
Успешная интеграция предиктивных систем в бизнес-процессы требует применения сложных технологий и людей, которые знают, что (и как!) с ними делать. Трудности включают в себя потребность в обработке больших объёмов данных, устранение ошибок в моделях и обеспечение прозрачности алгоритмов, что важно для доверия клиентов и регуляторов. С доверием пока сложно — нет возможности проверить обоснованность прогнозов, выдаваемых информационным решением, при этом работа алгоритмов сильно зависит от качества моделей, на которых проводилось их обучение. Финтех решает эти задачи и инвестирует в качество сбора и подготовки данных, чтобы уменьшить предвзятость.
Другое препятствие: дефицит экспертов. Многие финансовые специалисты не имеют скилов, нужных для работы с машинным обучением.
Примеры применения PA в финтехе
- Управление рисками и кредитный скоринг. Предиктивные модели анализируют данные о транзакциях, платежах и кредитной истории для прогнозирования вероятности дефолта заёмщиков. Например, компании используют машинное обучение для определения кредитоспособности и адаптируют лимиты в реальном времени. Это ускоряет принятие решений и снижает кредитные риски.
- Прогнозирование рыночных трендов. В инвестиционных платформах алгоритмы анализируют исторические данные о ценах, объёмах торгов и макроэкономические индикаторы, чтобы предсказать динамику цен акций или криптовалют. Так, алгоритмы LSTM используются для анализа временных рядов, чтобы учесть долгосрочные тренды.
- Антифрод (Fraud Detection). Банки и платёжные системы применяют предиктивную аналитику для обнаружения аномалий в транзакциях. Например, если алгоритм обнаруживает подозрительные операции (необычные географические местоположения, время, суммы), он блокирует их для проверки.
- Оптимизация процессов управления активами. Предиктивные модели помогают инвесторам оптимально распределять активы, снижают риски и увеличивают доходность. Например, анализ волатильности рынков позволяет создавать сбалансированные портфели на основе прогноза рисков.
- Динамическое ценообразование и персонализация. Финансовые платформы используют аналитику для прогнозирования спроса на услуги (например, кредиты или страхование) и адаптации ценовых предложений. Это помогает компаниям предлагать клиентам более персонализированные и конкурентоспособные условия.
Перспективы
В недавнем отчёте Mckinsey Autonomy of AI: Staying on the forefront of AI in banking говорится о важности технологий PA, в частности AI, блокчейна, облачных вычислений, а также данных и инструментов предиктивной аналитики, чтобы наращивать эффективность финансовой отрасли за счёт внедрения инноваций. Вместе с человеческим опытом машина усиливает процесс принятия решений, особенно в сложных сценариях с большими объёмами данных.
PA уже доказала свою эффективность в финтехе, но её перспективы намного шире и затрагивают будущее всей отрасли финансовых технологий. Вот направления, которые обещают революционные изменения:
1. Гиперперсонализация финансовых услуг. PA позволяет строить точные модели поведения клиентов. В будущем финтех-компании смогут предлагать продукты, идеально адаптированные к индивидуальным потребностям каждого пользователя. Например, алгоритмы смогут анализировать расходы, доходы и финансовые привычки клиента, чтобы рекомендовать персонализированные кредитные условия или планы инвестиций.
Пример: платформа, предсказывающая, когда клиенту может понадобиться кредит на основе анализа его регулярных трат и запланированных событий (например, отпусков или крупных покупок).
2. Превентивный риск-менеджмент. Будущие системы анализа рисков будут не просто выявлять аномалии, но и предсказывать их последствия, предупреждая каскадные эффекты. Это особенно важно для предотвращения системных кризисов. Например, на основе макроэкономических индикаторов, изменений на рынках и поведения участников алгоритмы смогут заранее сигнализировать о надвигающейся нестабильности.
Пример: использование графовых нейронных сетей для анализа взаимосвязей между банками и инвестиционными фондами. Такой подход позволяет прогнозировать, как дефолт одной компании может повлиять на другие.
3. Автоматизированные инвестиции нового уровня. Робоэдвайзеры сегодня — это уже реальность, но предиктивная аналитика поднимает их на новый уровень. Будущие системы смогут одновременно учитывать макроэкономические тренды, рыночные данные, новости, поведение пользователей и даже «мягкие» сигналы, такие как социальные настроения. Это сделает инвестиции доступными для широкой аудитории, независимо от уровня их знаний.
Пример: интеграция PA с NLP (Natural Language Processing) для анализа новостных заголовков в реальном времени, что позволит мгновенно корректировать инвестиционные стратегии.
4. Кредитование без рисков. Оценка кредитоспособности клиентов становится более точной благодаря PA. В перспективе банки и финтех-компании смогут учитывать не только кредитную историю, но и нестандартные данные, такие как поведение в социальных сетях, геолокацию и даже шаблоны использования смартфона. Это откроет доступ к финансированию для тех, кто традиционно считался высокорисковым.
Пример: микрофинансовая компания, использующая PA для анализа паттернов расходования средств и поведения клиента, чтобы предсказать вероятность дефолта.
5. Умные регуляторные технологии (RegTech). С развитием предиктивной аналитики регуляторы смогут прогнозировать нарушения законодательства и предотвращать их ещё до того, как они произойдут. Это снизит издержки на аудит и мониторинг, одновременно увеличив прозрачность отрасли.
Пример: системы, которые анализируют поведение сотрудников трейдинговых платформ на основе данных о сделках и общения, выявляя потенциальные признаки инсайдерской торговли или манипуляций.
6. Интеграция с квантовыми вычислениями. Квантовые вычисления обещают сделать анализ огромных объёмов данных быстрее и точнее. В сочетании с PA это откроет возможности для моделирования сложных рыночных ситуаций, которые невозможно просчитать на традиционных системах.
Пример: использование квантовых моделей для прогнозирования влияния геополитических событий на рынки, где множество факторов взаимодействуют одновременно.
Вызовы
Эксперты (например, McKinsey), считают, что финтех-компании, внедряющие предиктивную аналитику, будут обладать заметным конкурентным преимуществом, особенно на фоне растущей популярности алгоритмического трейдинга и автоматизированного управления портфелями.
Но организациям, работающим с предиктивной аналитикой, придётся решать вызовы: уже сегодня регуляторы и клиенты всё чаще требуют прозрачности и этичности в применении ИИ. Это придётся учитывать, чтобы показать соответствие регуляторным требованиям и укрепить доверие клиентов. Тут выходят на сцену технологии explainable AI (XAI, «объяснимого ИИ»), которые позволяют показать, почему алгоритм выдал определённое решение. Действия в этом направлении помогут максимизировать преимущества ИИ и минимизировать риски.
ссылка на оригинал статьи https://habr.com/ru/articles/865912/
Добавить комментарий