Распознавание документов для целей ДБО

Появление дистанционного банковского обслуживания (ДБО) поменяло весь банковский бизнес, предоставив возможность получения финансовых услуг «в два счета». Сегодня мы хотим рассказать вам о нашем новом продукте Smart Document Engine, который изменит процесс ДБО, обеспечив процедуру открытия счетов и получения кредитов «за два клика».

Дистанционное банковское обслуживание (ДБО) – удобный инструмент управления финансами, уровень развития которого в нашей стране трудно недооценить. Популярность цифровых банковских сервисов велика как среди обычных людей (физических лиц), так и среди компаний. Верные спутники ДБО – это системы распознавания документов. Они играют важную роль в процессе ДБО, уже сегодня решив задачу моментального и безопасного онбординга для физических лиц и реализовав несколько удобных кейсов (например, автоматизировав перевод с карты на карту или оплату квитанций по QR-кодам).

На сегодняшний день передовые цифровые банки активно используют технологии распознавания паспорта и сверки лиц для открытия счетов физическим лицам. С открытием счета для юридических лиц все сложнее. Необходимый комплект документов шире. Обычно банки для открытия счета требуют предоставить устав, свидетельства о регистрации компании в различных государственных органах, статистики, приказ о назначении единоличного исполнительного органа, карточку с печатью и подписью и другие документы.

Представьте, насколько бы упростился процесс открытия счета, если бы была функция ДБО для автоматической проверки и распознавания изображений указанных документов с резервированием счета под нового клиента. Конечно, принести оригиналы всех документов в банк или передать их выездному сотруднику позже обязательно надо (таковы требования закона). Но это можно сделать уже в рабочем порядке, а не в «горячке», когда реквизиты нужны «здесь и сейчас».

Как-то так (только более эмоционально) мы рассуждали, погрузившись в бесконечный процесс открытия расчетного счета в одном из крупнейших банков нашей страны. Как ни печально, никакой автоматизации нам не продемонстрировали. Причина оказалась простая: используемые решения по распознаванию документов распознают только «в теории», а на практике «натыкаются» на технологические барьеры из прошлого века:

• в качестве входных изображений ожидают сканы 300 DPI, фотографии с малоформатных камер не обеспечивают необходимого качества изображения;

• требуют высокопроизводительных серверов для развертывания;

• из коробки предоставляется фактически только OCR, а весь дополнительный интеллектуальный анализ документа требуется реализовывать на своей стороне.

Поэтому мы решили создать такую систему распознавания, которая лишена указанных ограничений. Мы постарались переосмыслить задачу распознавания документов заново и зафиксировали следующие требования к новому продукту:

1. Поддержка сканов и фотографий. Это одно из ключевых требований. Мы уже неоднократно писали, что способ оцифровки бумажных документов из сканирования движется в сторону фотографирования. Это быстрее, удобнее, однако имеет свои особенности: возникает полный спектр проблем, связанных с проективными геометрическими искажениями формируемого образа документа, изменчивостью освещения, наличием посторонних элементов на фотографируемой сцене.

2. Только on-premises. Данные НЕ должны передаваться ни на какие сервисы, НЕ должны сохраняться, и для работы системы НЕ должен требоваться доступ в интернет. Вся обработка документов должна вестись строго локально на устройстве клиента или внутри инфраструктуры банка.

3. Работа как на серверах, так и на мобильных девайсах. Время работы на мобильных устройствах должно быть приемлемым, при этом оптимизация времени распознавания должна быть без ущерба качеству.

4. Поддержка «жестких» и «гибких» форм. Новый продукт должен поддерживать все виды документов. В том числе многостраничные. Кроме того, нужен функционал адаптации под произвольные новые виды документов.

5. Распознавание различных элементов. Документ – это не только буквы. Соответственно, распознавание – это не просто OCR. Необходимо дополнительно локализовать и распознавать прочие обязательные элементы бизнес-документов: таблицы, метки и чекбоксы, подписи и печати, рукописные пометки и т.д.

6. Анализ заполнения документа. Встроенный механизм нового продукта должен обеспечивать контроль заполнения документа, наличие ключевых слов и словосочетаний, контроль отсутствия помарок, исправлений и прочих пометок.

7. Элементы проверки подлинности документа. Дополнительный контроль цветности как отдельных элементов, так и всего документа в целом, анализ начертания шрифтов, визуализация логотипов позволяют продукту на ранних стадиях детектировать отдельные случаи фрода.

8. Нативная работа на отечественных вычислительных комплексах. Комментарии здесь излишни.

Приступив к созданию продукта, мы поняли, что большинство технологических заделов для обеспечения нужной функциональности у нас просто уже есть! Более того, мы про это даже писали на Хабре:

• Вот здесь мы рассказываем о том, как научили свои продукты находить четырехугольник документа на изображении. Добавление к этому функционалу нормализации цвета позволяет реализовать технологию «сканирования» документа с помощью мобильного телефона.

• Мы разработали инфраструктуру обучения крайне компактных вычислительно эффективных сверточных нейронных сетей (об этом можно почитать, например здесь, здесь и здесь). Кроме того, мы постоянно совершенствуем собственный аппарат цифровой обработки изображений, уделяя отдельное внимание сложности используемых алгоритмов (ознакомиться можно здесь, здесь и здесь). Все это позволяет делать вычислительно эффективные системы распознавания, способные запускаться и на серверах, и на мобильных устройствах.

• У нас уже есть опыт распознавания жестких форм и квази-жестких форм, когда допустимая модель изменения формы документа проста и заранее понятна. Мы умеем распознавать документы в виде «книжечки» (паспорт РФ) и «тройной книжечки» (сертификат регистрации проституток в Германии).

• Мы уже реализовали технологию классификации сложных деловых документов.

• У нас давно апробирован механизм локализации и распознавания графических элементов типа «печать», «штамп», «подпись», «логотип» и т.д. Мы реализовали собственный декодер штрихкодов, который отлично справляется с 1D- и 2D-баркодами.

• Мы разработали уникальный подход анализа подлинности документов и уже внедрили его в свой продукт распознавания паспорта.

• Все составляющие части нашей платформы работают на Эльбрусе! И об этом тоже писали здесь, здесь и здесь.

В результате у нас все получилось. Итак, рады представить вам наш новый продукт, полностью удовлетворяющий сформулированным выше требованиям – Smart Document Engine. Что же он умеет?

Функциональные возможности Smart Document Engine

Классификация и распознавание жестких форм. Жесткими формами называют документы, разные экземпляры которых совпадают “на просвет” при удалении реквизитов. Smart Document Engine содержит алгоритмы быстрой локализации и жестких форм на сканах, фотографиях и в видеопотоке, что позволяет осуществлять разбор таких документов.

Классификация и распознавание гибких форм. Гибкими формами называют документы, элементы и реквизиты которых могут менять взаимное расположение на бланке. Примерами гибких форм являются налоговые и бухгалтерские документы, такие как справка 2-НДФЛ, бухгалтерский баланс предприятия, отчет о финансовых результатах и т.п.

Анализ документов произвольного вида. Smart Document Engine позволяет распознавать и анализировать документы произвольного вида (доверенности, согласия, договора). При помощи Smart Document Engine можно производить классификацию таких документов, извлекать реквизиты, верифицировать наличие подписей и печатей и др.

Поддержка сканов, фотографий и видео. Smart Document Engine может распознавать документы и формы как на изображениях, полученных с планшетных и протяжных сканеров, так и с фотографий и видео, полученных при помощи смартфонов, планшетов и других мобильных устройств.

Анализ многостраничных документов. Smart Document Engine позволяет классифицировать и распознавать многостраничные документы. Обработка последовательности страниц позволяет упростить процесс потокового сканирования, производить сортировку потока и проверять наличие необходимых документов.

Распознавание текстовых реквизитов. Стек технологий локализации и распознавания символов, реализованный в системе Smart Document Engine, позволяет быстро и точно распознавать однострочные и многострочные текстовые поля на более чем 100 языках мира, извлекать реквизиты из сплошного текста, машинописные и рукопечатные поля в разграфке и многое другое.

Распознавание меток и чекбоксов. Система Smart Document Engine позволяет точно и надежно распознавать метки и чекбоксы, выполненные как в печатном варианте, так и ручкой.

Проверка наличия и распознавание рукописных пометок и подписей. Smart Document Engine позволяет извлекать рукописные поля и подписи, распознавать цифровые поля, выполненные от руки в свободной форме, а также верифицировать наличие отметок и подписей.

Распознавание таблиц. В системе Smart Document Engine реализован поиск и распознавание табличных данных. Поддерживаются таблицы с жесткой структурой, реляционные и нереляционные, таблицы с переменным количеством столбцов и структурированные наборы реквизитов с разграфкой.

Поиск и распознавание печатей. Система Smart Document Engine оснащена модулями быстрого детектирования, локализации и классификации печатей. Помимо поиска и верификации наличия печати, платформа позволяет реализовать распознавание отдельных текстовых компонентов печатей.

Проверка наличия ключевых слов и словосочетаний. Для идентификации значимых фраз, а также для обнаружения некорректных изменений в тексте система Smart Document Engine позволяет проверять наличие ключевых слов, словосочетаний и фраз.

Контроль заполнения документа. С помощью Smart Document Engine можно произвести контроль заполнения документа, включая проверку наличия обязательных текстовых или графических полей, анализ зон документа, предназначенных для рукописного или рукопечатного заполнения.

Контроль отсутствия помарок, исправлений и прочих пометок. Система Smart Document Engine позволяет детектировать, локализовать и распознавать помарки, зачеркивания, исправления и прочие пометки на документе с целью контроля его достоверности и извлечения дополнительной информации.

Контроль логотипов и прочих графических элементов. Smart Document Engine позволяет детектировать, локализовать и контролировать наличие графических элементов, таких как логотипы компаний, а также важных графических полей документов, таких как фотография, вклеенная в анкету.

Контроль цветности документа. Система Smart Document Engine определяет как цветность документа в целом, так и его отдельных элементов (печатей и подписи), что позволяет детектировать черно-белую копию документа.

Анализ атрибутов текстовых полей. Помимо распознавания текстовых полей Smart Document Engine анализирует атрибуты полей и отдельных текстовых символов, таких как характеристики шрифта (наличие засечек, курсив, жирность), оценки однородности и монотонности и др.

Какие банковские процессы решает Smart Document Engine?

1. Автоматизация процесса открытия счета. Smart Document Engine дает возможность не только считать и ввести данные в информационную систему банка, но и провести верификацию документа: проверить заполнение всех необходимых полей, проверить наличие подписей и печатей, выполнить перекрестные проверки.

2. Автоматизация процесса одобрения кредита. Smart Document Engine ускоряет и автоматизирует решение о выдаче кредита как для физических лиц, так и для юридических лиц за счет распознавания Справки 2-НДФЛ, Бухгалтерского баланса, Отчета о финансовых результатах.

3. Автоматизация работы мобильных агентов. Благодаря полноценной автономной работе на мобильных устройствах Smart Document Engine обеспечивает сканирование, распознавание и верификацию заполненных анкет и других документов в полевых условиях.

Читатель, погруженный в банковскую тематику, самостоятельно найдет еще с десяток полезных применений нашего нового продукта. Важно то, что Smart Document Engine избавляет от рутины ввода данных, сокращая количество ошибок и освобождая ценные минуты на работу с клиентом, а также расширяет область применения ДБО.

Что имеем в итоге?

Современный мобильный телефон позволяет распознавать с помощью Smart Document Engine поток изображений документов со специализированного документного сканера производительностью до 30 страниц в минуту, что ранее было доступно только высокопроизводительным рабочим станциям или серверам, обеспечивая высочайшую точность распознавания текстовых, цифровых и иных данных документа. Так, распознавание справки 2-НДФЛ на телефоне Galaxy S10 в среднем занимает меньше 3 секунд. Система одинаково хорошо и быстро обрабатывает как сканы анкет, так и фотографии, автоматически выполняя все действия, необходимые для классификации, извлечения из них данных и распознавания текста с учетом геометрических искажений, перепадов и неравномерностей освещения, характерных для фотографий.

Smart Document Engine «из коробки» распознает свидетельство о постановке на налоговый учет гражданина РФ (ИНН), справку 2-НДФЛ, платежное поручение (форма 0401060), бухгалтерский баланс (форма 0710001), отчет о финансовых результатах (форма 0710002), а также справки о результатах анализов ПЦР нескольких популярных лабораторий России. Smart Document Engine может быть настроен на распознавание других документов (кастомных договоров и бланков, соглашений и доверенностей, и т.д.).

Таким образом, мы создали полную линейку продуктов, обеспечивающих все потребности ДБО в системах распознавания. Smart ID Engine автоматизирует ввод персональных данных клиента (распознавание паспорта, водительских удостоверений и т.п.) и выполняет проверку подлинности ID документов, решает задачу сверки лиц. Smart Code Engine решает задачу быстрого извлечения и ввода всех необходимых данных с платежной карты для совершения операции (распознавание банковской карты), а также позволяет распознать штрихкоды QR Code, AZTEC, PDF417 и других 1D и 2D. И наконец, наш новый флагманский продукт – Smart Document Engine – решает задачи распознавания документов, связанные с регистрацией и обслуживанием юридических лиц, а также обработкой комплекта документов, необходимых для кредитного скоринга, онлайн-бухгалтерии, совершения платежей.