Credit Scoring: Одинокое дерево, целый лес и разочарование в нейросетях

Введение

Кажется, что нейросети могут все. Мы видим результат их работы в системах распознавания лиц, видеоаналитике. Нас поражает умение нейросетей рисовать изображения, распознавать и синтезировать голос, а большие языковые модели уже давно проходят тест Тьюринга и ведут беседу как живые люди. Но, как показал мой эксперимент, в задачах кредитного скоринга они нисколько не лучше классических ML-моделей. В этой статье я расскажу, как решающее дерево, случайный лес, бустинг и даже многослойная нейросеть упираются в один и тот же потолок на данных кредитного скоринга.

Ход эксперимента

В качестве датасета были взяты данные кредитного скоринга с https://www.kaggle.com/competitions/GiveMeSomeCredit. Сначала мы обучили решающее дерево, с кросс-валидацией.  График зависимости roc-auc от количества элементов выборки (Ореол вокруг кривой – это дисперсия (разброс) при кроссвалидации):

А вот таблица результирующих метрик:

Интерпретация результатов:

• ROC-AUC ≈ 0.84 — модель неплохо ранжирует заёмщиков по риску; это главная метрика для скоринга.

• Recall ≈ 75% — находит 3 из 4 реальных просрочек, но с большим числом ложных тревог.

• Precision ≈ 21% — из 10 предсказанных просрочек только ~2 реальные.

• Accuracy ≈ 80% — на фоне 93% «хороших» клиентов выглядит приемлемо, но сама по себе обманчива.

• F1 ≈ 33% – очень мало (модель бесполезна): много пропусков либо много ложных тревог, либо и то и другое. В нашем случае ужасающее количество ложных тревог: 8 из 10 заемщиков, которым мы отказываем, на самом деле хорошие заемщики и вовремя бы вернули кредит.

Стоит заметить, что такие результаты мы получили при включенной опции  весов «balanced» – специальная опция решающего дерева, предназначенная для обучения на несбалансированных данных:

def build_decision_tree_model() -> PreprocessingClassifier:    return PreprocessingClassifier(        preprocessor=MissingValueHandler(),        model=DecisionTreeClassifier(            random_state=RANDOM_STATE,            class_weight="balanced",            max_depth=8,        ),    )

Если убрать эту опцию, то тогда дерево просто всегда будет «говорить», что не будет просрочки. И тогда точность достигнет 93% – ровно столько, сколько процентов нормальных заемщиков. Но в этом случае будет еще ужаснее полнота и другие метрики:

Именно поэтому accuracy в отрыве от остальных показателей – бесполезная метрика. Теперь проиграемся еще с одним параметром: максимальная глубина (max_depth):

Данная таблица иллюстрирует, что максимальная глубина была выбрана достаточно оптимально – ее увеличение ведет к переобучению, а уменьшение к потере точности. Да, у нас при max_depth=3 возрос recall, но упала точность.

В общем, одиночное решающее дерево никуда не годится. Нужен целый «лес» – random forest.

Сравним его метрики с простым решающим деревом:

Как видно из таблицы, метрики улучшились (все), но незначительно.

Попробуем использовать случайный поиск RandomizedSearchCV для подбора параметров. Сравним результаты:

Что мы тут видим? Точность незначительно улучшилась, полнота упала, в целом метрики чуть-чуть улучшились. Вот какие параметры были подобраны алгоритмам (сравним их с параметрами по умолчанию):

Сделаем второй прогон, с другим RANDOM_STATE:

Видим, что метрики незначительно поменялись (стали чуть-чуть получше). Смотрим как изменились настройки:

Видим, что тут увеличилось n_estimators (общее количество деревьев решений в ансамбле).

И так, мы выяснили, что ни решающее дерево, ни случайный лес тут не работают. Попробуем бустинг. Сравним:

Как видим, используя лес и бустинг, мы смогли лишь слегка увеличить accuracy, при этом precision оставили на прежнем уровне, recall тоже смогли чуть-чуть поднять.

Теперь попробуем нейросеть (два скрытых слоя, на 64 и 32 нейрона, разумеется есть дропауты для борьбы с переобучением):

 

То есть нейросеть не показала лучших результатов, чем бустинг. На первый взгляд, такой результат может показаться странным. Но, дело в том, что нейросети хороши там, где есть нелинейные зависимости между фичами и выходными признаками, особенно, когда эти зависимости имеют сложный пространственный характер (выходной параметр зависит нелинейно сразу от нескольких фич)

Попробуем больше слоев, например, не (64, 32), а (128, 64, 32):

Практически, ничего не изменилось, мы только усилили переобучение. По сути, мы достигли предела. Дальше остается только работа с данными: в выборке просто не хватает фич.

 Заключение

 Итак, решающее дерево не справилось с задачей кредитного скоринга, случайных лес и бустинг показали результаты чуть получше. Вопреки ожиданиям, нейросеть тоже не справилась. Это можно объяснить следующими причинами:

1.     Проклятие несбалансированности. Самая основная причина катастрофически низкого F1 – несбалансированность выборки. В датасете 93% «хороших» и 7% «плохих» элементов. При таких условиях даже идеальная модель будет делать ошибки, так как она вынуждена балансировать между recall (найти всех плохих) и precision (не забраковать ошибочно хороший элемент). Включение опции class_weight=’balanced’  сдвигает модель в сторону поиска «плохих» объектов, но значительно увеличивает количество ложных тревог. И это не потому, что модель «плохая», а потому что такова объективная реальность: «плохие» и «хорошие» заемщики сильно пересекаются в пространстве признаков.

2.     Сила признаков (Причина «Потолка ROC-AUC»). Метрика ROC-AUC показывает, насколько хорошо модель отличает «плохие» объекты от «хороших», то есть ставит первых выше вторых по вероятности. Значение 0.86 – это довольно хороший, но отнюдь не выдающиеся результат. Мы видим, что бустинг и нейросеть не помогают, это значит, что все полезные сигналы уже «выжаты» из фич, и между фичами и выходными признаками нет сложных нелинейных зависимостей, которые могла бы обнаружить. Далее, сами признаки довольно слабые: возраст, количество открытых кредитов, количество иждивенцев – они не позволяют однозначно предсказать, вернет ли заемщик долг.  

Можно ли улучшить результат? Несмотря на недостаток фич, полагаю, что да, возможно. Во-первых, в качестве метрики использовать не AUC-ROC, а AUC-PR, он лучше подходит для несбалансированной выборки. Во-вторых, перед выбором и обучением провести фиче-инженеринг, проанализировать, какие фичи коррелирует с целевыми признаками,  в-третьих, попробовать составные фичи, когда мы вычисляем новые фичи на основании существующих, делая над ними различные математические операции. В-четвертых поработать с заполнением пропущенных данных. Возможно, отсутствие каких-то данных это уже сам по себе «красный» флаг – новая фича.