Миграция данных — это процесс выбора, подготовки, извлечения и преобразования данных и их постоянного переноса из одной компьютерной системы хранения в другую. Кроме того, проверка полноты перенесенных данных и вывод из эксплуатации устаревшего хранилища данных считаются частью всего процесса миграции данных. [1] [2] Миграция данных является ключевым фактором для внедрения, обновления или консолидации любой системы и обычно выполняется таким образом, чтобы быть максимально автоматизированной, освобождая человеческие ресурсы от утомительных задач. Миграция данных происходит по разным причинам, включая замену серверов или оборудования для хранения данных, техническое обслуживание или обновления, миграцию приложений , консолидацию веб-сайтов, аварийное восстановление и перемещение центра обработки данных . [2]
По состоянию на 2011 год [обновлять]«почти 40 процентов проектов по миграции данных были превышены по времени, бюджету или полностью провалены». [1] [3] Таким образом, правильное планирование имеет решающее значение для эффективной миграции данных. Хотя особенности плана миграции данных могут различаться — иногда значительно — от проекта к проекту, IBM предполагает, что для большинства проектов по миграции данных существует три основных этапа: планирование, миграция и постмиграция. [2] Каждый из этих этапов имеет свои собственные шаги. Во время планирования анализируются зависимости и требования, разрабатываются и тестируются сценарии миграции, а также создается план проекта, включающий предыдущую информацию. Во время фазы миграции план принимается, а во время постмиграции проверяется, документируется и закрывается полнота и тщательность миграции, включая любой необходимый вывод из эксплуатации устаревших систем. [2] Для приложений средней и высокой сложности эти этапы миграции данных могут повторяться несколько раз, прежде чем новая система будет считаться полностью проверенной и развернутой.
Планирование : данные и приложения, которые необходимо перенести, выбираются на основе бизнес-, проектных и технических требований и зависимостей. Анализируются требования к оборудованию и пропускной способности. Разрабатываются возможные сценарии миграции и отката, а также соответствующие тесты, сценарии автоматизации, сопоставления и процедуры. Требования к очистке и преобразованию данных также оцениваются для форматов данных с целью улучшения качества данных и устранения избыточной или устаревшей информации. Определяется и разрабатывается архитектура миграции, приобретаются все необходимые лицензии на программное обеспечение и запускаются процессы управления изменениями. [1] [2]
Миграция : Требования к оборудованию и программному обеспечению проверяются, а процедуры миграции настраиваются по мере необходимости. Также может проводиться некое предварительное тестирование, чтобы убедиться, что требования и настроенные параметры функционируют так, как ожидалось. Если все считается хорошо, начинается миграция, включая основные действия по извлечению данных , когда данные считываются из старой системы, и загрузке данных , когда данные записываются в новую систему. Дополнительные шаги проверки гарантируют, что разработанный план миграции был полностью реализован. [1] [2]
Постмиграция : После миграции данных результаты подвергаются проверке данных , чтобы определить, были ли данные точно переведены, являются ли они полными и поддерживают ли процессы в новой системе. Во время проверки может возникнуть необходимость в параллельном запуске обеих систем для выявления областей несоответствия и предотвращения ошибочной потери данных . Проводится дополнительная документация и отчетность по проекту миграции, и после подтверждения завершения миграции устаревшие системы также могут быть выведены из эксплуатации. Заключительные встречи по миграции официально завершат процесс миграции. [1] [2]
Существует разница между миграцией данных и деятельностью по интеграции данных . Миграция данных — это проект, в рамках которого данные будут перемещены или скопированы из одной среды в другую, а также удалены или выведены из эксплуатации в источнике. Во время миграции (которая может длиться месяцы или даже годы) данные могут перемещаться в нескольких направлениях, и может быть несколько одновременных миграций. Действия ETL ( извлечение, преобразование, загрузка ) будут необходимы, хотя средства их достижения могут не совпадать с теми, которые традиционно ассоциируются с аббревиатурой ETL.
Интеграция данных, напротив, является постоянной частью архитектуры ИТ и отвечает за то, как данные передаются между различными приложениями и хранилищами данных, и является процессом, а не проектной деятельностью. Стандартные технологии ETL, разработанные для поставки данных из операционных систем в хранилища данных, подходят под последнюю категорию. [4]
Данные хранятся на различных носителях в файлах или базах данных и генерируются и потребляются программными приложениями , которые в свою очередь поддерживают бизнес-процессы . Необходимость передачи и преобразования данных может быть обусловлена несколькими бизнес-требованиями, и подход, применяемый к миграции, зависит от этих требований. На этой основе предлагаются четыре основные категории миграции.
Бизнес может выбрать рационализацию физических носителей, чтобы воспользоваться более эффективными технологиями хранения. [2] Это приведет к необходимости перемещать физические блоки данных с одной ленты или диска на другой, часто с использованием методов виртуализации . Формат данных и само содержимое обычно не будут изменяться в процессе и обычно могут быть достигнуты с минимальным или нулевым воздействием на уровни выше. [5]
Аналогично может возникнуть необходимость перейти от одного поставщика базы данных к другому или обновить используемое программное обеспечение базы данных. В последнем случае, скорее всего, не потребуется физическая миграция данных, но это может произойти при крупных обновлениях. В этих случаях может потребоваться процесс физического преобразования, поскольку базовый формат данных может существенно измениться. Это может повлиять или не повлиять на поведение на уровне приложений, в значительной степени в зависимости от того, изменился ли язык или протокол манипулирования данными. [6] Однако некоторые современные приложения написаны так, чтобы быть почти полностью независимыми от технологии базы данных, [7] поэтому переход с Sybase , MySQL , IBM Db2 или SQL Server на Oracle должен потребовать только цикла тестирования, чтобы убедиться, что как функциональная, так и нефункциональная производительность не пострадала.
Изменение поставщика приложений — например, новая платформа CRM или ERP — неизбежно повлечет за собой существенную трансформацию, поскольку почти каждое приложение или пакет работает на основе своей собственной конкретной модели данных, а также взаимодействует с другими приложениями и системами в среде интеграции корпоративных приложений . [8] Кроме того, чтобы обеспечить продажу приложения на максимально широком рынке, коммерческие готовые пакеты обычно настраиваются для каждого клиента с использованием метаданных . Интерфейсы прикладного программирования (API) могут предоставляться поставщиками для защиты целостности данных, с которыми им приходится работать.
Бизнес-процессы работают посредством комбинации действий человека и прикладных систем, часто организованных инструментами управления бизнес-процессами . Когда они меняются, может потребоваться перемещение данных из одного хранилища, базы данных или приложения в другое, чтобы отразить изменения в организации и информацию о клиентах, продуктах и операциях. Примерами таких движущих факторов миграции являются слияния и поглощения, оптимизация бизнеса и реорганизация для атаки на новые рынки или реагирования на конкурентную угрозу. [9]
Первые две категории миграции обычно являются рутинными операционными действиями, которыми занимается ИТ-отдел без участия остального бизнеса. Последние две категории напрямую влияют на операционных пользователей процессов и приложений, являются обязательно сложными, и их реализация без значительного простоя бизнеса может быть сложной. Высокоадаптивный подход, параллельная синхронизация, возможность аудита, ориентированного на бизнес, и четкая видимость миграции для заинтересованных сторон — через офис управления проектами или группу управления данными — вероятно, будут ключевыми требованиями при таких миграциях. [9]
Миграция, которая фокусируется на самом цифровом объекте, представляет собой процесс переноса или перезаписи данных с устаревшего носителя на современный носитель и на протяжении многих лет считалась единственным жизнеспособным подходом к долгосрочному сохранению цифровых объектов. [10] Примером такой миграции является воспроизведение хрупких газет на микропленке .