Управление основными данными ( MDM ) — это дисциплина, в которой бизнес и информационные технологии сотрудничают для обеспечения единообразия, точности, управляемости, семантической согласованности и подотчетности официальных общих основных данных предприятия . [1] [2]
Однако проблемы с качеством данных , классификацией и согласованием могут потребовать преобразования данных . Как и в случае с другими перемещениями данных на основе Extract, Transform, Load , эти процессы являются дорогостоящими и неэффективными, что снижает окупаемость инвестиций в проект.
В результате сегментации бизнес-единиц и линеек продуктов одна и та же сущность (будь то клиент, поставщик или продукт) будет включена в разные линейки продуктов. Это приводит к избыточности данных и даже путанице.
Например, клиент берет ипотеку в банке. Если у отделов маркетинга и обслуживания клиентов есть отдельные базы данных, реклама все равно может отправляться клиенту, даже если он уже зарегистрировался. Две части банка не знают об этом, и клиенту отправляются нерелевантные сообщения. Связывание записей может связать разные записи, соответствующие одной и той же сущности, смягчая эту проблему.
Одной из наиболее распространенных проблем управления основными данными является рост компании за счет слияний или поглощений . Согласование этих отдельных систем основных данных может представлять трудности, поскольку существующие приложения зависят от основных баз данных. В идеале администраторы баз данных решают эту проблему путем дедупликации основных данных в рамках слияния.
Со временем, по мере дальнейших слияний и поглощений, проблема может умножиться. Процессы согласования данных могут стать чрезвычайно сложными или даже ненадежными. Некоторые организации в конечном итоге оказываются с 10, 15 или даже 100 отдельными и плохо интегрированными основными базами данных. Это может вызвать серьезные проблемы с удовлетворенностью клиентов , эффективностью работы, поддержкой принятия решений и соответствием нормативным требованиям.
Другая проблема заключается в определении надлежащих степеней детализации и нормализации для включения в схему основных данных. Например, в федеративной среде HR предприятие может сосредоточиться на хранении данных о людях как текущего статуса, добавив несколько полей для определения даты найма, даты последнего повышения и т. д. Однако это упрощение может внести ошибки, влияющие на бизнес, в зависимые системы планирования и прогнозирования. Заинтересованные стороны таких систем могут быть вынуждены построить параллельную сеть новых интерфейсов для отслеживания приема на работу новых сотрудников, запланированных выходов на пенсию и изъятия инвестиций, что противоречит одной из целей управления основными данными.
Управление основными данными обеспечивается технологией, но это больше, чем технологии, которые ее обеспечивают. Возможности управления основными данными организации также будут включать в себя людей и процессы в своем определении.
В MDM должно быть несколько ролей. Наиболее заметными из них являются Владелец данных и Управляющий данными. Несколько человек, вероятно, будут назначены на каждую роль, каждый из которых будет отвечать за подмножество основных данных (например, один владелец данных для основных данных сотрудников, другой — для основных данных клиентов).
Владелец данных несет ответственность за требования к качеству данных, безопасности данных и т. д., а также за соблюдение процедур управления данными и управления данными. Владелец данных также должен финансировать проекты по улучшению в случае отклонений от требований.
Управляющий данными осуществляет управление основными данными от имени владельца данных и, вероятно, также является советником владельца данных.
Управление основными данными можно рассматривать как «дисциплину для специализированного улучшения качества» [3], определяемую политиками и процедурами, внедренными организацией управления данными . Его цель — обеспечить процессы сбора , агрегирования , сопоставления, консолидации, обеспечения качества , сохранения и распространения основных данных по всей организации для обеспечения общего понимания, согласованности , точности и контроля [4] в постоянном обслуживании и использовании этих данных в приложениях.
Процессы, обычно наблюдаемые в управлении основными данными, включают идентификацию источника, сбор данных, преобразование данных , нормализацию , администрирование правил, обнаружение и исправление ошибок , консолидацию данных, хранение данных , распределение данных, классификацию данных, службы таксономии, создание основных элементов, сопоставление схем , кодификацию продуктов, обогащение данных, управление иерархией, управление бизнес-семантикой и управление данными .
Инструмент управления основными данными может использоваться для поддержки управления основными данными путем удаления дубликатов , стандартизации данных (массовое ведение) [5] и включения правил для исключения ввода некорректных данных в систему с целью создания авторитетного источника основных данных. Основные данные — это продукты, счета и стороны, для которых выполняются бизнес-транзакции .
В тех случаях, когда технологический подход создает « золотую запись » или полагается на «источник записи» или «систему записи», обычно говорят о том, где данные «мастерятся». Это общепринятая терминология в индустрии информационных технологий, но следует проявлять осторожность, как со специалистами, так и с более широким сообществом заинтересованных сторон, чтобы не путать концепцию «мастер-данных» с концепцией «мастеринг-данных».
Существует ряд моделей внедрения технологического решения для управления основными данными. Они зависят от основного бизнеса организации, ее корпоративной структуры и ее целей. К ним относятся:
Эта модель определяет одно приложение, базу данных или более простой источник (например, электронную таблицу) как «источник записи» (или « систему записи », где полагаются исключительно на базы данных приложений). Преимущество этой модели заключается в ее концептуальной простоте, но она может не соответствовать реалиям сложного распределения основных данных в крупных организациях.
Источник записи может быть объединен, например, по группам атрибутов (так что разные атрибуты сущности основных данных могут иметь разные источники записи) или географически (так что разные части организации могут иметь разные главные источники). Объединение применимо только в определенных случаях использования, где есть четкое разграничение того, какие подмножества записей будут найдены в каких источниках.
Модель источника записи может применяться шире, чем просто к основным данным , например, к справочным данным .
Существует несколько способов, с помощью которых основные данные могут быть собраны и распространены в других системах. [6] Сюда входят:
Управление основными данными может пострадать при его принятии в крупной организации, если концепция « единой версии истины » не будет подтверждена заинтересованными сторонами, которые считают, что их локальное определение основных данных необходимо. Например, иерархия продуктов, используемая для управления запасами, может полностью отличаться от иерархий продуктов, используемых для поддержки маркетинговых усилий или оплаты труда торговых представителей. Прежде всего необходимо определить, действительно ли требуются разные основные данные. Если это требуется, то реализованное решение (технология и процесс) должно позволять существовать нескольким версиям истины, но предоставлять простые и прозрачные способы согласования необходимых различий. Если это не требуется, процессы должны быть скорректированы. Часто можно найти решения, которые сохраняют целостность основных данных, но позволяют пользователям получать к ним доступ способами, которые соответствуют их потребностям. Например, продавец может захотеть сгруппировать продукты по размеру, цвету или другим атрибутам, в то время как специалист по закупкам может захотеть сгруппировать продукты по поставщику или стране происхождения. Без такого активного управления пользователи, которым нужны альтернативные версии, будут просто «обходить» официальные процессы, тем самым снижая эффективность общей программы управления основными данными компании.