Миграция данных — это процесс выбора, подготовки, извлечения и преобразования данных и их постоянного переноса из одной компьютерной системы хранения в другую. Кроме того, проверка полноты перенесенных данных и вывод из эксплуатации устаревшего хранилища данных считаются частью всего процесса миграции данных. [1] [2] Миграция данных является ключевым моментом при любом внедрении, обновлении или консолидации системы, и обычно она выполняется таким образом, чтобы быть максимально автоматизированной, освобождая человеческие ресурсы от утомительных задач. Миграция данных происходит по разным причинам, включая замену серверов или оборудования хранения, обслуживание или обновление, миграцию приложений , консолидацию веб-сайтов, аварийное восстановление и перемещение центра обработки данных . [2]
По состоянию на 2011 год [обновлять]«почти 40 процентов проектов по миграции данных были просрочены, превысили бюджет или полностью провалились». [1] [3] Таким образом, правильное планирование имеет решающее значение для эффективной миграции данных. Хотя особенности плана миграции данных могут различаться — иногда значительно — от проекта к проекту, IBM предполагает, что в большинстве проектов миграции данных есть три основных этапа: планирование, миграция и последующая миграция. [2] Каждый из этих этапов имеет свои собственные этапы. В ходе планирования анализируются зависимости и требования, разрабатываются и тестируются сценарии миграции, а также создается план проекта, включающий предварительную информацию. На этапе миграции план применяется, а во время постмиграции полнота и тщательность миграции проверяются, документируются и закрываются, включая любой необходимый вывод из эксплуатации устаревших систем. [2] Для приложений средней и высокой сложности эти этапы миграции данных могут повторяться несколько раз, прежде чем новая система будет считаться полностью проверенной и развернутой.
Планирование : данные и приложения, подлежащие миграции, выбираются на основе бизнес-, проектных и технических требований и зависимостей. Анализируются требования к оборудованию и пропускной способности. Разрабатываются возможные сценарии миграции и возврата, а также соответствующие тесты, сценарии автоматизации, сопоставления и процедуры. Требования к очистке и преобразованию данных также оцениваются для форматов данных для улучшения качества данных и устранения избыточной или устаревшей информации. Определяется и разрабатывается архитектура миграции, приобретаются все необходимые лицензии на программное обеспечение и запускаются процессы управления изменениями. [1] [2]
Миграция : требования к аппаратному и программному обеспечению проверяются, а процедуры миграции настраиваются по мере необходимости. Также может быть проведено своего рода предварительное тестирование, чтобы убедиться, что требования и индивидуальные настройки функционируют должным образом. Если все в порядке, начинается миграция, включая основные действия по извлечению данных , когда данные считываются из старой системы, и загрузке данных , когда данные записываются в новую систему. Дополнительные этапы проверки гарантируют, что разработанный план миграции будет введен в действие в полном объеме. [1] [2]
Пост-миграция : после миграции данных результаты подвергаются проверке , чтобы определить, были ли данные точно переведены, являются ли они полными и поддерживают ли процессы в новой системе. Во время проверки может возникнуть необходимость в параллельном запуске обеих систем для выявления областей несоответствия и предотвращения ошибочной потери данных . По проекту миграции ведется дополнительная документация и отчетность, и после подтверждения завершения миграции устаревшие системы также могут быть выведены из эксплуатации. Заключительные встречи по миграции официально завершат процесс миграции. [1] [2]
Существует разница между миграцией данных и деятельностью по интеграции данных . Миграция данных — это проект, в рамках которого данные будут перемещены или скопированы из одной среды в другую, а также удалены или выведены из эксплуатации в источнике. Во время миграции (которая может длиться месяцы или даже годы) данные могут передаваться в разных направлениях, и может происходить несколько одновременных миграций. Действия ETL ( извлечение, преобразование, загрузка ) будут необходимы, хотя средства их достижения могут отличаться от тех, которые традиционно ассоциируются с аббревиатурой ETL.
Интеграция данных, напротив, является неотъемлемой частью ИТ-архитектуры и отвечает за то, как данные передаются между различными приложениями и хранилищами данных, и представляет собой процесс, а не проектную деятельность. Стандартные технологии ETL, предназначенные для доставки данных из операционных систем в хранилища данных, подходят под последнюю категорию. [4]
Данные хранятся на различных носителях в файлах или базах данных , генерируются и используются программными приложениями , которые, в свою очередь, поддерживают бизнес-процессы . Необходимость передачи и преобразования данных может быть обусловлена множеством бизнес-требований, и подход к миграции зависит от этих требований. На этой основе предлагаются четыре основные категории миграции.
Компания может решить рационализировать физические носители, чтобы воспользоваться преимуществами более эффективных технологий хранения. [2] Это приведет к необходимости перемещать физические блоки данных с одной ленты или диска на другую, часто с использованием методов виртуализации . Формат данных и само содержимое обычно не изменяются в процессе и обычно могут быть достигнуты с минимальным воздействием или вообще без воздействия на вышележащие уровни. [5]
Аналогичным образом может возникнуть необходимость перехода от одного поставщика базы данных к другому или обновления используемого программного обеспечения базы данных. В последнем случае с меньшей вероятностью потребуется физическая миграция данных, но это может произойти при крупных обновлениях. В этих случаях может потребоваться процесс физического преобразования, поскольку базовый формат данных может существенно измениться. Это может повлиять или не повлиять на поведение на уровне приложений, во многом в зависимости от того, изменился ли язык или протокол манипулирования данными. [6] Однако некоторые современные приложения написаны почти полностью независимыми от технологии баз данных, [7] поэтому переход от Sybase , MySQL , IBM Db2 или SQL Server к Oracle должен требовать только цикла тестирования, чтобы быть уверенным в том, что обе функциональные возможности и нефункциональная производительность не пострадала.
Смена поставщика приложения — например, новая платформа CRM или ERP — неизбежно повлечет за собой существенную трансформацию, поскольку почти каждое приложение или пакет работает на своей собственной конкретной модели данных, а также взаимодействует с другими приложениями и системами в среде интеграции корпоративных приложений . [8] Кроме того, чтобы обеспечить возможность продажи приложения на максимально широком рынке, коммерческие готовые пакеты обычно настраиваются для каждого клиента с использованием метаданных . Интерфейсы прикладного программирования (API) могут предоставляться поставщиками для защиты целостности данных, которые они должны обрабатывать.
Бизнес-процессы осуществляются посредством сочетания действий человека и прикладных систем, часто управляемых инструментами управления бизнес-процессами . Когда они меняются, они могут потребовать перемещения данных из одного хранилища, базы данных или приложения в другое, чтобы отразить изменения в организации и информации о клиентах, продуктах и операциях. Примерами таких движущих сил миграции являются слияния и поглощения, оптимизация бизнеса и реорганизация для выхода на новые рынки или реагирования на конкурентные угрозы. [9]
Первые две категории миграции обычно представляют собой рутинную операционную деятельность, о которой ИТ-отдел заботится без участия остального бизнеса. Последние две категории напрямую влияют на операционных пользователей процессов и приложений, они обязательно сложны, и их реализация без значительных простоев бизнеса может оказаться сложной задачей. Высокоадаптивный подход, параллельная синхронизация, возможности бизнес-ориентированного аудита и четкая видимость миграции для заинтересованных сторон — через офис управления проектами или команду управления данными — вероятно, будут ключевыми требованиями при такой миграции. [9]
Миграция, которая фокусируется на самом цифровом объекте, представляет собой процесс переноса или перезаписи данных с устаревшего носителя на текущий носитель и на протяжении многих лет считается единственным жизнеспособным подходом к долгосрочному сохранению цифровых объектов. . [10] Воспроизведение хрупких газет на микрофильмах является примером такой миграции.