Специалист подобен флюсу: полнота его односторонняя

Козьма Прутков

Банки и предсказания.

Рассмотрим самую простую задачу предсказания поведения, проще некуда,
но весьма распространенную и пользующуюся повышенным спросов в некоторых кругах.

Это задача скоринга в банке. Получить массив параметров, вектор, матрица, куб — это уже на вкус разработчиков, обработать и выдать вероятность возврата средств, если они будут выданы тому, кого описал массив информации.

Упростим её и представим, что в городе есть всего три завода и банк. Ну и жители.
И мы будем применять чистый AI, без примесей, будем принимать решение только на основе предсказания сети, без всякого иного интеллекта и здравого смысла. Это как 96% C2H5OH + 4% H2O и без закуски.

Нужно построить алгоритм предсказания вероятности возврата только на основе AI.
Для DS это рутинная задача. В смысле «предсказать». И не только с помощью регрессии и бустинга, а легко даже с помощью нейронной сети.
Не буду сейчас рассказывать про разные сети. Все они в чем то одинаковые — скормил им данные, они в ответ «дать», «не дать», «послать».

Итак, все заводы выплатили в этом месяце зарплату. Всё хорошо, дело делается, доходы есть и у владельцев и у работников.
И всем сотрудникам этих заводов банк кредиты предоставляет и так несколько раз.
Любой AI научится определять кому, что и сколько.

Но вот настал день Ч и первый завод потерял заказы и зарплату больше платить не будет.
Но банк (банковский AI) продолжает оформлять и выдавать кредиты, ведь нет ни одной просрочки у сотрудников завода.
Через два или три месяца от дня Ч начинаются просрочки и через 4-5 месяцев от дня Ч почти все работники первого завода перестали обслуживать свои кредиты.

Набрав достаточный для обучения датасет, ИИ банка меняет веса и теперь сотрудникам первого завода кредиты не одобряет и банк их не оформляет. Всё, денег нет!
Другой ИИ, уже акционеров завода, принимает решение переуступить обязанности по сотрудникам первого завода коллекторам.
Казалось бы всё правильно, но решение только средствами DS порочно и вот почему.

В день Н первый завод был продан и новые владельцы загрузили его полностью и даже прибавили зарплату. Но ИИ банка по прежнему не одобряет заявки на кредит сотрудников первого завода, у ИИ нет достаточного датасета и нет информации о том, что теперь работники первого завода платежеспособны! И все последние кредиты сотрудников первого завода не обслуживаются.

Ну и далее итератором по заводам — банк разорен, а ведь бизнес-то в порядке!

На первый взгляд решение очевидно — выбрасываем «место работы» из параметров.

Так же выбрасываем место жительства (район, область и т.д), рост, вес, цвет волос и т.п.

( Если девять рыжих пришли и купили квартиру, то десятый купит квартиру с вероятностью 9/10. ! )

Это не бред, если в городе есть клуб рыжих и они там обсудили, то если 9, то там же и 10. А если клуба нет! Но этого не знает никакой ИИ. Нет в матстате такого инструмента определения зависимости из газет. С матстатом набираем знания только из накопленных ошибок !

Не забываем проверить, чтобы в параметрах не были указаны национальность, религия, цвет кожи и т.д.

Опытные банкиры может и про DS что и недопонимают, но такую ситацию скорее всего не допустят.

А вот неопытный DS предложит смотреть кредитную историю заемщика — если потенциальный заемщик долго и успешно обсуживает свой долг, то можно дать еще (вот тут банкиры, если они читают этот текст, конечно, усмехаются). Сразу скажу это очень плохой критерий.

Если давать только тем, у кого есть кредитная история, то банк прогорит. Просто произойдет естественная убыль клиентов.

Для развития и захвата рынков нужно уметь давать тем, у кого нет истории. У них будущие прибыли банка!

И те, кого отпустил его банк к вам, в ваш банк, наверняка содержат изъян в кредитной истории. Никогда банк не отпустит платежеспособного заемщика, банк знает про него все. Все проблемы, достоинства и недостатки.

И если этот заёмщик пришел к вам, значит ему отказали в его банке. Ваш скоринг заглянув в Бюро радостно сообщает — классный заемщик, ни одной просрочки. Но в том банке точно знают — сырье для бизнеса этого заемщика подорожало, клиентов не прибавилось и т.д. И они его отпускают.

И клиент с отличной кредитной историей из другого банка не очень хороший клиент. Или у него дела плохи, или он проводит арбитраж ставок и выжмет из вас самую удобную для себя ставку, на грани вашей доходности. А потом покажет нулевой оборот )) (Это конечно не про DS, но так оно и есть)

Кредитная история из бюро это плохой критерий для DS. А если у клиента хорошая история в родном банке — тут DS и не нужен банкиру совсем.

Ну а клиент с плохой историей это то же самое, что клиент без истории. Лучше, но не намного.

Так что кредитная история не самый хороший критерий оценки. Как впрочем и любая другая история. В ней нет данных о будущем. Это у физиков — замерил траекторию, внимательно и вдумчиво изучил и теперь знаешь и понимаешь как планеты двигаются. Но и то, до поры до времени. После вдруг оказывается, что без «темной материи» и «темного знания» тоже неточно.

Решение, в основе которого лежит только матстат, в принципе порочно.

Можно конечно придумать костыли — продолжать одобрять заявки некоторым сотрудникам первого завода и ждать, когда они начнут обслуживать кредиты. Но вот только не нужно говорить владельцам банка о таком методе — как идут дела у первого завода они знают и без ИИ и прекрасно могут решить вне рамок DS.

Попытка нарушить основы: «прикладная математика это аксиомы предметной области и аксиомы логики» — приведет к невеселым последствиям.

В данном случае, в скоринге кредитов, постановка задачи должна быть изменена в принципе. Нужно выбрать и добавить аксиомы предметной области. И такие системы есть.

Мне известно, например, что для решения предсказательных задач взрослые дяди начинали мониторить все доступные и, по мере возможности, известные источники информации и пытались оценить их вклад в целевую функцию. Или строили систему описывающую движение информации, почти как термодинамика.

Но и тут есть свои подводные камни, но про это в другой статье.