Привет, Хабр!

Этот пост — о качестве воздуха, которым мы дышим. Принято считать, что в общем и целом, воздух больших городов вреден для здоровья. Оно и понятно — тут вам и трафик и заводы, да мало ли чего еще. В общем, все это держит жителей мегаполиса в постоянном опасении относительно «неблагоприятной экологической ситуации».

Картинка отсюда

Правда, однако, несколько сложнее.

Не все районы города имеют одинаковую экологическую обстановку, причем ситуация может кардинально меняться в течение нескольких часов. Дело в том, что из-за постоянно изменяющейся картины ветров, городского рельефа и застройки, а так же изменчивости дорожной ситуации, концентрации разного рода примесей сильно изменяются во времени и пространстве. Вот, например, посмотрите на карту распределения PM2.5 в Москве на 16 октября 2015 в 11:00 и на 16 октября 18:00 (время в UTC) и найдите 10 отличий.

Для того, чтобы ответить на вопрос каково состояние воздуха в Москве и других больших городах мира сейчас и как оно изменится в ближайшее время, мы открыли портал local.aerostate.org.

Кто это — мы?

Мы — AeroState, команда профессионалов и одновременно энтузиастов в области физики, химии и динамики атмосферы. Мы хотим сделать информацию о качестве воздуха по-настоящему доступной и интересной. Проект local.aerostate.org — некоммерческий, мы не планируем извлекать из него выгоды, или обвешивать рекламными баннерами. Портал local.aerostate.org сделан для демонстрации возможностей нашей технологии — он был и будет абсолютно бесплатным и свободным от баннеров с рекламой. Все карты на сайте сделаны для ознакомления людей с тем, каким воздухом они дышат, а также для демонстрации работы нашего API. Мы хотим поделиться информацией о качестве воздуха в городе, где живем мы и наши близкие.

А откуда у вас данные?

Этот вопрос мы слышали не один десяток раз. Для ясности нужно сказать пару слов о том, как происходит прогноз качества воздуха. Если говорить кратко, то берется текущее состояние атмосферы (по различным компонентам) и переносится вперед по времени при помощи модели, учитывающей химию и физику, а также взаимодействие с источниками и стоками загрязнений.

Наука о химии атмосферы стоит на двух китах — наблюдение и моделирование. Информация о текущем состоянии химии атмосферы берется, как правило, из наблюдений. Большую роль при этом играют спутники: GOES, MOPITT, IASI, GOSAT, OCO(RIP), OCO2 — вот далеко не полный список инструментов для измерения концентраций тех или иных примесей в атмосфере. В основном, метод измерения состава воздуха с помощью этих инструментов — спектроскопия в различных диапазонах. Например, IASI (Infrared Atmospheric Sounding Instrument), помимо метеорологических характеристик, вычисляет концентрации озона, угарного газа, метана и других компонент, анализируя отраженный атмосферой сигнал в ИК диапазоне. Вот как происходит сканирование атмосферы с помощью такого рода инструментов:

Картинка с сайта

Также, разумеется, для оценки текущего качества воздуха используются наземные станции. Например, Москва ( local.aerostate.org/?msc ) здесь выгодно выделяется не только среди городов России, но и на фоне мировых столиц. ФГУП МосЭкоМониторинг расположил на территории столицы и области около 40 стационарных и мобильных станций контроля качества воздуха, по измерениям которых мы можем следить за текущей обстановкой ( mosecom.ru/air/air-today ). Еще одним важным источником данных являются измерительные системы, установленные на самолетах. По понятным причинам они не имеют прямого отношения к оперативному мониторингу городской обстановки, но помогают исследователям проверять точность своих моделей на независимых данных.

Однако, ни один самый навороченный спутник и ни одна самая дорогая станция не даст информации о будущем состоянии состава атмосферы. Для построения прогноза нужна модель, то есть совокупность человеческих знаний о том, как развиваются процессы в атмосфере.

Одна из используемых в нашей системе моделей, Weather Research and Forecast (WRF), имеет открытый исходный код. На ее примере можно описать как работает большинство атмосферных моделей. Основа модели — набор дифференциальных уравнений в частных производных (уравнений Эйлера), записанных для основных прогностических переменных. Эти уравнения разбиты на численно-разностные схемы, после чего перенесены в код на язык языков (то есть FORTRAN). В случае если мы говорим о загрязнении воздуха, то в модель добавляется химический блок, описывающий комплексные взаимодействия между атмосферными составляющими. Однако, для функционирования такой сложной модели необходимо знать начальные условия и граничные условия. Для наших задач важны оба типа информации: во-первых, уравнения химических реакций отталкиваются от текущих значений концентраций, что делает необходимым наиболее точное восстановление начального состояния. А во-вторых, атмосфера не является замкнутой системой — как уже писалось выше, в естественный ход вещей вмешиваются заводы и трафик, значения выбросов которых являются переменными. Количественная оценка и прогноз этих эмиссий на основе косвенной информации является одной из важнейших компонент нашей технологии — без этих данных прогноз не будет точен.

Вернемся к нашим баранам моделям. Ясное дело, что модель неточна без наблюдений, так как уравнения описывают изменчивость состояния, а не само состояние. Синхронные измерения используются для уточнения начальных условий модели с помощью технологии ассимиляции данных. По сути, ассимиляция данных — это набор методов, пришедших в геофизику из теории управления и оптимизации (вариационное исчисление и фильтр Калмана). Этот хорошо развитый математический аппарат используется для оптимального совмещения данных наблюдений и результатов моделирования и создания на их основе наиболее точных начальных условий для модели.

Картинка из книги

Но и это еще не все. Для корректного прогноза химии с разрешением в 1 км, помимо начальных условий нужны знания о будущих эмиссиях. Собранная нами база данных антропогенных (и не только) эмиссий является результатом data mining и предметом нашей особой гордости. На картинке ниже показан workflow системы в целом. Завершает весь процесс нейронная сеть глубокого обучения, обученная таким образом, чтобы убирать большие расхождения между моделью и наблюдениями.
Сами данные можно посмотреть на сайте local.aerostate.org или получить через наше API. Информация о том как получить доступ к API находится на сайте aerostate.org.

Насколько точны ваши прогнозы?

Понятно, что точность определения состояния воздуха достаточно сложно измерить на глаз. Именно для того, чтобы пользователи могли ориентироваться в непривычных единицах ppm, мы добавляем на графики средние значения RMSE по выбранной компоненте.

Текущая точность на сайте — не предел. Мы продолжаем улучшать нашу систему и видим несколько путей повышения качества прогнозов, о которых обязательно вам расскажем.

Кстати говоря, практика показывает, что под точностью люди понимают не только непосредственно величину RMSE, но и пространственное/временное разрешение, с которым сделан прогноз. Сейчас прогноз по городам, которые можно выбрать на сайте, сделан на сетке 1 на 1 км длительностью от 24 до 48 часов, что позволяет описывать общее состояние воздуха в городе по районам. В то же самое время, наша практика показывает, что из-за наличия зданий, поля концентраций атмосферных примесей могут иметь разрывы и резкие скачки. Эти эффекты особенно заметны в городах с высотной застройкой. Для учета таких эффектов, мезомасштабные модели не совсем подходят, так как вертикальная координата в них привязана к уровням давления. В нашей технологии есть возможность корректировать прогнозы моделей типа WRF с помощью специально разработанной для этих целей мелкомасштабной модели. Эта модель воссоздает трехмерную структуру города по данным openstreetmap и, принимая на вход результаты мезомасштабной модели, детализирует картину распределения концентраций с учетом городской застройки. Вот пример работы нашей модели (тестовый эксперимент), отрендеренный в Maya:

www.youtube.com/watch?v=hxLBHJMr0UI

В качестве заключения или зачем это все

Мы писали этот пост во многом для того, чтобы рассказать о нашем проекте и тех технологиях, которые мы используем для построения прогнозов качества воздуха. Однако, второй и, наверное, самой важной задачей этой публикации является получение обратной связи от технически грамотной аудитории. Мы будем очень благодарны за вопросы, предложения, feature requests и просто пожелания удачи.

Спасибо за внимание!

Ваша команда AeroState

ссылка на оригинал статьи http://habrahabr.ru/post/272745/