Качество данных простым языком

При подготовке статьи что главное? Источники! А что может быть источником надежнее, чем стандарты ISO? Давайте посмотрим, есть ли стандарты «качества данных»? Есть! ISO/TS 8000 и даже соответствующий ГОСТ 56214. Что ж, читаем определения:

3.1.3 качество (quality): Степень соответствия совокупности присущих характеристик объекта требованиям (3.1.2).

Примечания: 1 Термин "качество" может применяться с прилагательными, такими как "плохое", "хорошее" или "превосходное".

Так. Хватит ГОСТов на сегодня. Итак, есть данные, у них есть качество — характеристика, показывающая степень пригодности данных к использованию, и которое может быть «плохим», «хорошим» или «превосходным». На самом деле, есть 7 основных качественных характеристики: точность, полнота, непротиворечивость, достоверность, своевременность, уникальность и доступность.

• Точность (Accuracy): Насколько данные соответствуют реальности и не содержат ошибок, такие как опечатки.

• Полнота (Completeness): Насколько данные полны и содержат всю необходимую информацию. Пример неполных данных — это нулевые значения, или отсутствие улицы в адресе, или номера телефона, или адреса электронной почты.

• Непротиворечивость (Consistency, которую иногда переводят как «Согласованность»): Согласованность данных между различными системами, причем в едином формате. То есть если у вас в одной системе даты записаны в разных форматах (например, ДД/ММ/ГГГГ и ММ/ДД/ГГГГ) — это нарушает принцип непротиворечивости и может вызвать проблемы в интеграции и анализе данных.

• Достоверность (Validity): Насколько данные соответствуют бизнес-правилам и ограничениям, определенным для них. Достоверные данные попадают в ожидаемый диапазон и соответствуют указанным критериям. Например, допустимая дата рождения должна попадать в определенный диапазон, а цена продукта должна быть положительным значением.

• Актуальность (Timeliness): Актуальность данных, насколько они соответствуют действительности. Например, место работы сотрудника и его корпоративная почта.

• Уникальность (Uniqueness): Насколько данные уникальны и не дублируют друг друга.

• Доступность (Accessibility): Возможность доступа к данным. Данные могут быть и замечательные, но если к ним нет доступа, то смысла в них мало.

Больше всех меня в этих пунктах смущает «Непротиворечивость». Получается, требования предъявляются не только к самим данным, но и к тому, где и как они хранятся? Да, встречайте новое понятие: «Data Integrity» (целостность данных).
Хотя термины Data Quality и Data Integrity часто употребляются совместно, их значения немного различаются: Data Quality ориентировано на полезность данных и отражает их пригодность для выполнения конкретных задач, а Data Integrity фокусируется на их безопасности, неизменности и целостности данных в процессе их хранения, передачи и обработки. Например, в банковских системах целостность данных гарантирует, что все транзакции выполняются корректно и без потерь.

Итак: у нас есть данные и есть требования к качеству данных. А имея данные и требования к их качеству, мы сможем ими управлять. Как управлять качеством данных, читайте в следующей статье.