Применение методов машинного обучения в задаче оценки действий лётчика на этапе посадки

ВВЕДЕНИЕ

Статистика аварийных происшествий показывает, что в настоящее время наиболее опасным участком полёта по-прежнему остаётся посадка. Причём в большинстве случаев аварийные происшествия происходят по вине личного состава (рис. 1). Таким образом, задача оценки действий летчика по управлению воздушным судном на этапе посадки является актуальной как для гражданской, так и для военной авиации, поскольку позволяет повысить безопасность полётов.

Рис. 1. Диаграммы распределения аварийных происшествий по этапам полёта и по видам нарушений личного состава

Выполненный анализ существующих способов оценивания качества пилотирования на основе информации бортовых устройств регистрации (БУР) показал их недостаточную эффективность.
В соответствии с Курсом боевой подготовки (КБП) оценка качества выполнения посадочного маневра определяется на основании данных бортовых и наземных средств объективного контроля, а также наблюдений инструктора и лиц группы руководства полетами (рис. 2).

Рис. 2. Структура формирования оценки

По КБП оценка техники пилотирования на этапе посадки по материалам бортовых СОК выполняется путем анализа параметров полета в 4-х контрольных сечениях глиссады (рис. 3): вход в глиссаду, прохождение дальнего приводного радиомаяка (ДПРМ), прохождение ближнего приводного радиомаяка (БПРМ), касание взлетно-посадочной полосы.

Рис. 3. Снижение самолёта по глиссаде

При этом полетные данные используются не в полном объеме: из 14 нормативных параметров, установленных КБП для оценки качества выполнения посадки, только 5 параметров определяются по материалам БУР, что составляет всего 35,7 %. Остальные параметры определяются на основании наблюдений инструктора и лиц группы руководства полетами, что вносит значительную долю субъективизма в итоговую оценку.
Таким образом, существует необходимость дополнения методики КБП параметрами, учитывающими характер пилотирования самолета на протяжении всего этапа снижения по глиссаде и регистрируемыми штатными БУР.

МОДИФИКАЦИЯ СУЩЕСТВУЮЩЕГО СПОСОБА ОЦЕНКИ ДЕЙСТВИЙ ЛЁТЧИКА НА ЭТАПЕ ПОСАДКИ

В работах [1-3] было доказано, что структура движения ручки управления самолетом на посадке является характеристикой качества пилотирования (показывает насколько уверенно лётчик управляет самолётом). Основываясь на этих работах можно сделать вывод, что в роли информативного признака для оценки качества пилотирования целесообразно использовать параметр «Угол отклонения ручки управления самолетом по тангажу» , который регистрируется на всех современных ВС штатным бортовым устройством регистрации (рис. 4). Данный способ позволяет оценить действия летчика на всем этапе посадки, кроме того в нем отсутствует субъективизм. Типовая система управления самолетом в продольном канале представлена на рисунке 5.

Рис. 4. Графики изменения параметра «Отклонение РУС по тангажу» на этапе посадки для летчиков различной классной квалификации; а) летчик 1 класса; б) лётчик без класса; в) передача управления

Рис. 5. Система управления самолетом в продольном канале (МУ-615А — потенциометрический датчик угловых перемещений, РП — рулевой привод)

Описанный выше способ оценки предлагается интегрировать в известную методику оценки техники пилотирования по КБП. Таким образом, повысится процент объективности итоговой оценки за счет введения в итоговую оценку дополнительного объективного показателя, характеризующего действия летчика на всем этапе снижения по глиссаде.
На основе работ [4, 5] для оценки посадки предлагается использовать спектр сигнала , а для построения модели зависимости между данным спектром и уровнем подготовки пилота (либо оценкой, выставленной командиром полёта), характеризующимся его классной квалификацией, использовать методы машинного обучения с учителем.
В качестве входных признаков в реализации предложенного метода использовались отсчеты нормализованного сглаженного спектра исследуемого дискретного сигнала , а в качестве выходного признака – номер класса летчика.
Вектор входных признаков формировался при помощи описанных ниже преобразований:

1. Вычисляем спектр F дискретного сигнала длины N
   ;
2. Амплитуды сигнала, частоты которых меньше 0,5 Гц, обнуляем для исключения информационной составляющей сигнала, связанной с частотой собственных колебаний воздушного судна по углу атаки;
3. Приводим спектр к виду от 0 до 2,5 Гц и изменяем размер полученного вектора признаков до фиксированного значения при помощи бикубической интерполяции (получили вектор );
4. Сглаживаем спектр методом скользящего окна для получения более однородных данных и нормализуем по амплитуде:
   ,
   ,
   где m – размер окна (в реализации m = 10), а K – постоянное число, превосходящее все значения (в реализации K = 250).

Построение модели зависимости между спектром сигнала и номером класса лётчика выполнялось при помощи двух алгоритмов машинного обучения с учителем: метода опорных векторов (SVM) с радиальной базисной функцией в качестве ядра и метода градиентного бустинга деревьев (GBT).
В реализации GBT использовался со следующими параметрами:

• тип функции потерь – аномальные потери;
• количество итераций бустинга – 3000;
• параметр регуляризации – 0,0008;
• порция подвыборки – 0,0001;
• максимальная глубина деревьев принятия решений – 1;
• с использованием суррогатов.

УТОЧНЕНИЕ ПРЕДСКАЗАННОГО НОМЕРА КЛАССА ЛЁТЧИКА

Для выявления слабых мест алгоритмов было проведено тестирование и были рассчитаны диаграммы распределения ошибок. Одна из этих диаграмм представлена на рисунке 6.
Описание базы, использованной для тестирования, приведено в разделе «Результаты и обсуждение».

Рис. 6. Диаграмма распределения ошибок для метода GBT

Первые три столбца диаграммы (рис. 6) соответствуют случаям неправильно детектированного 1-го класса (включая снайперов), при этом красный столбец соответствует случаям, когда 1-й класс определён как 2-й класс, зелёный столбец соответствует случаям, когда 1-й класс определён как 3-й класс и синий столбец соответствует случаям, когда 1-й класс определён как без класса. Аналогично для 2-й, 3-й и 4-й тройки столбцов, которые соответствуют 2-му, 3-му классу и “нулевому” классу (без класса).
Анализ диаграммы распределения ошибок показал, что в большинстве случаев алгоритмы ошибаются на один класс, поэтому разумно в дальнейшем провести отдельный анализ для каждой пары ближайших классов. Например, уточнять предсказанный номер класса лётчика уже в бинарном классификаторе.
В реализации использовались следующие бинарные классификаторы:

• если предсказанный класс «3-й класс», то используется метод SVM для классификации лётчиков 2-го и 3-го классов;
• если предсказанный класс «без класса», то используется метод GBT для классификации лётчиков 3-го класса и без класса.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Согласно стандартной схеме оценивания обобщающей способности алгоритма классификации, все имеющиеся данные делятся на обучающую и тестовою выборки. Однако из-за большого количества входных признаков требуется как можно большее количество примеров в обучающей выборки, иначе алгоритму классификации может не хватить информации для построения модели зависимости. Также требуется большое количество примеров в тестовой выборки для оценки качества классификации с высокой точностью.
В нашем случае объём имеющихся данных ограничен, поэтому для оценивания обобщающей способности алгоритма классификации используется метод кросс-валидации.
Все имеющиеся данные были разбиты на 5 непересекающихся блоков, каждый из которых содержит 48 образцов по 12 образцов на каждую классность пилота: без класса, 3 класс, 2 класс и 1 класс (включая лётчиков снайперов). Данные были получены с бортовых устройств регистрации маневренных самолётов (название самолёта сказать не могу). Результаты представлены в таблице ниже.

Итоговая оценка эффективности алгоритма:

рассчитывались по следующей формуле:

где – количество тестовых примеров, в которых допущена ошибка, – количество тестовых примеров в тестовой выборке.
Анализ полученных результатов показал, что наилучшую общую точность показал метод GBT. Кроме того, уточнение предсказанного номера класса лётчика в бинарных классификаторах повысило общую точность у метода SVM на 2 %, а у метода GBT на 3 %.

ЗАКЛЮЧЕНИЕ

Использование методов машинного обучения позволило экспериментальным путем подтвердить коррелированность параметра «Угол отклонения ручки управления самолетом по тангажу» на этапе снижения самолета по глиссаде с уровнем подготовки летчика, выраженного в баллах в соответствии с его классностью. Полученная точность метода опорных векторов и градиентного бустинга деревьев составляет 55%. Таким образом, спектр сигнала «Угол отклонения ручки управления самолетом по тангажу» может быть использован в качестве дополнительного параметра для оценки действий лётчика на этапе посадки, а построение системы, выставляющей оценку по данному спектру, можно выполнять при помощи алгоритмов машинного обучения с учителем: метод опорных векторов и градиентный бустинг деревьев.

p.s. Ссылку на проект и базу данных выложу позже

ссылка на оригинал статьи https://habrahabr.ru/post/281455/