Целостность данных

Целостность данных — это поддержание и обеспечение точности и согласованности данных на протяжении всего жизненного цикла . ^[1] Это критически важный аспект проектирования, внедрения и использования любой системы, которая хранит, обрабатывает или извлекает данные. Термин имеет широкую область применения и может иметь совершенно разные значения в зависимости от конкретного контекста даже в рамках одного и того же общего понятия вычислений . Иногда он используется как прокси-термин для качества данных , ^[2] в то время как проверка данных является предпосылкой для целостности данных. ^[3]

Определение

Целостность данных — это противоположность повреждению данных . ^[4] Общая цель любой техники целостности данных та же: гарантировать, что данные записаны именно так, как предполагалось (например, база данных, корректно отвергающая взаимоисключающие возможности). Более того, при последующем извлечении гарантируйте, что данные такие же, как и при первоначальной записи. Короче говоря, целостность данных направлена на предотвращение непреднамеренных изменений информации. Целостность данных не следует путать с безопасностью данных , дисциплиной защиты данных от несанкционированных сторон.

Любые непреднамеренные изменения данных в результате операции хранения, поиска или обработки, включая злонамеренные действия, неожиданный отказ оборудования и человеческую ошибку , являются нарушением целостности данных. Если изменения являются результатом несанкционированного доступа, это также может быть нарушением безопасности данных. В зависимости от вовлеченных данных это может проявиться как безобидное изменение цвета одного пикселя на изображении, отличающегося от изначально записанного, так и потеря фотографий из отпуска или критически важной для бизнеса базы данных, и даже катастрофическая потеря человеческой жизни в критически важной для жизни системе .

Типы целостности

Физическая целостность

Физическая целостность имеет дело с проблемами, которые связаны с правильным хранением и извлечением самих данных. Проблемы с физической целостностью могут включать электромеханические неисправности, недостатки конструкции, усталость материала , коррозию , перебои в подаче электроэнергии , стихийные бедствия и другие особые опасности окружающей среды, такие как ионизирующее излучение , экстремальные температуры, давления и перегрузки . Обеспечение физической целостности включает такие методы, как избыточное оборудование, источник бесперебойного питания , определенные типы массивов RAID , радиационно-устойчивые чипы, память с исправлением ошибок , использование кластерной файловой системы , использование файловых систем, которые используют контрольные суммы на уровне блоков, такие как ZFS , массивы хранения, которые вычисляют вычисления четности, такие как исключающее или, или используют криптографическую хэш-функцию и даже наличие сторожевого таймера на критических подсистемах.

Физическая целостность часто широко использует алгоритмы обнаружения ошибок, известные как коды исправления ошибок . Ошибки целостности данных, вызванные человеком, часто обнаруживаются с помощью более простых проверок и алгоритмов, таких как алгоритм Дамма или алгоритм Луна . Они используются для поддержания целостности данных после ручной транскрипции из одной компьютерной системы в другую человеком-посредником (например, номера кредитных карт или банковских маршрутов). Ошибки транскрипции, вызванные компьютером, могут быть обнаружены с помощью хэш-функций .

В производственных системах эти методы используются совместно для обеспечения различных степеней целостности данных. Например, файловая система компьютера может быть настроена на отказоустойчивом массиве RAID, но может не предоставлять контрольные суммы на уровне блоков для обнаружения и предотвращения скрытого повреждения данных . В качестве другого примера, система управления базами данных может соответствовать свойствам ACID , но контроллер RAID или внутренний кэш записи жесткого диска могут не соответствовать.

Логическая целостность

Этот тип целостности касается правильности или рациональности фрагмента данных, учитывая определенный контекст. Сюда входят такие темы, как ссылочная целостность и целостность сущностей в реляционной базе данных или правильное игнорирование невозможных данных датчиков в роботизированных системах. Эти проблемы включают обеспечение того, чтобы данные «имели смысл» с учетом их среды. Проблемы включают ошибки программного обеспечения , недостатки проектирования и человеческие ошибки. Общие методы обеспечения логической целостности включают такие вещи, как проверки ограничений , ограничения внешнего ключа , утверждения программы и другие проверки работоспособности во время выполнения.

Физическая и логическая целостность часто имеют много общих проблем, таких как человеческие ошибки и недостатки проектирования, и обе должны соответствующим образом обрабатывать параллельные запросы на запись и извлечение данных, причем последнее является полностью самостоятельной темой.

Если сектор данных имеет только логическую ошибку, его можно использовать повторно, перезаписав его новыми данными. В случае физической ошибки затронутый сектор данных становится навсегда непригодным для использования.

Базы данных

Целостность данных содержит руководящие принципы для хранения данных , определяющие или гарантирующие продолжительность хранения данных в определенной базе данных (обычно реляционной базе данных ). Для достижения целостности данных эти правила последовательно и регулярно применяются ко всем данным, поступающим в систему, и любое ослабление контроля может привести к ошибкам в данных. Реализация проверок данных как можно ближе к источнику ввода (например, вводу данных человеком) приводит к тому, что в систему поступает меньше ошибочных данных. Строгое соблюдение правил целостности данных приводит к снижению частоты ошибок и экономии времени на устранение неполадок и отслеживание ошибочных данных и ошибок, которые они вызывают в алгоритмах.

Целостность данных также включает правила, определяющие отношения, которые часть данных может иметь с другими частями данных, например, запись о клиенте может ссылаться на приобретенные продукты , но не на несвязанные данные, такие как корпоративные активы . Целостность данных часто включает проверки и исправление недействительных данных на основе фиксированной схемы или предопределенного набора правил. Примером являются текстовые данные, введенные там, где требуется значение даты и времени. Также применимы правила для вывода данных, указывающие, как значение данных выводится на основе алгоритма, участников и условий. Он также определяет условия того, как значение данных может быть повторно выведено.

Типы ограничений целостности

Целостность данных обычно обеспечивается в системе базы данных серией ограничений или правил целостности. Три типа ограничений целостности являются неотъемлемой частью реляционной модели данных : целостность сущностей, ссылочная целостность и целостность домена.

Целостность сущностей касается концепции первичного ключа . Целостность сущностей — это правило целостности, которое гласит, что каждая таблица должна иметь первичный ключ и что столбец или столбцы, выбранные в качестве первичного ключа, должны быть уникальными и ненулевыми.
Ссылочная целостность касается концепции внешнего ключа . Правило ссылочной целостности гласит, что любое значение внешнего ключа может находиться только в одном из двух состояний. Обычное положение дел заключается в том, что значение внешнего ключа ссылается на значение первичного ключа некоторой таблицы в базе данных. Иногда, и это будет зависеть от правил владельца данных, значение внешнего ключа может быть null . В этом случае мы явно говорим, что либо нет никакой связи между объектами, представленными в базе данных, либо эта связь неизвестна.
Целостность домена указывает, что все столбцы в реляционной базе данных должны быть объявлены в определенном домене. Первичной единицей данных в реляционной модели данных является элемент данных. Такие элементы данных называются неразложимыми или атомарными. Домен — это набор значений одного типа. Таким образом, домены — это пулы значений, из которых извлекаются фактические значения, появляющиеся в столбцах таблицы.
Пользовательская целостность относится к набору правил, указанных пользователем, которые не относятся к категориям целостности сущности, домена и ссылочной целостности.

Если база данных поддерживает эти функции, то база данных несет ответственность за обеспечение целостности данных, а также за модель согласованности для хранения и извлечения данных. Если база данных не поддерживает эти функции, то ответственность за обеспечение целостности данных лежит на приложениях, в то время как база данных поддерживает модель согласованности для хранения и извлечения данных.

Наличие единой, хорошо контролируемой и четко определенной системы обеспечения целостности данных повышает:

стабильность (одна централизованная система выполняет все операции по обеспечению целостности данных)
производительность (все операции по обеспечению целостности данных выполняются на том же уровне, что и модель согласованности)
возможность повторного использования (все приложения используют единую централизованную систему обеспечения целостности данных)
удобство обслуживания (одна централизованная система для всех задач администрирования целостности данных).

Современные базы данных поддерживают эти функции (см. Сравнение систем управления реляционными базами данных ), и обеспечение целостности данных стало фактической обязанностью базы данных. Компании, и действительно многие системы баз данных, предлагают продукты и услуги для миграции устаревших систем в современные базы данных.

Примеры

Примером механизма целостности данных является родительско-дочерняя связь связанных записей. Если родительская запись владеет одной или несколькими связанными дочерними записями, все процессы ссылочной целостности обрабатываются самой базой данных, что автоматически обеспечивает точность и целостность данных, так что ни одна дочерняя запись не может существовать без родительской (также называемой сиротой) и что ни одна родительская запись не теряет свои дочерние записи. Это также гарантирует, что ни одна родительская запись не может быть удалена, пока родительская запись владеет какими-либо дочерними записями. Все это обрабатывается на уровне базы данных и не требует кодирования проверок целостности в каждом приложении.

Файловые системы

Результаты различных исследований показывают, что ни широко распространенные файловые системы (включая UFS , Ext , XFS , JFS и NTFS ), ни аппаратные RAID- решения не обеспечивают достаточной защиты от проблем с целостностью данных. ^[5]^[6]^[7]^[8]^[9]

Некоторые файловые системы (включая Btrfs и ZFS ) предоставляют внутренние контрольные суммы данных и метаданных , которые используются для обнаружения скрытого повреждения данных и улучшения целостности данных. Если повреждение обнаружено таким образом, и внутренние механизмы RAID, предоставляемые этими файловыми системами, также используются, такие файловые системы могут дополнительно реконструировать поврежденные данные прозрачным способом. ^[10] Такой подход позволяет улучшить защиту целостности данных, охватывающую все пути данных, что обычно известно как сквозная защита данных . ^[11]

Целостность данных применительно к различным отраслям

Управление по контролю за продуктами питания и лекарственными средствами США разработало проект руководства по целостности данных для фармацевтических производителей, которые обязаны соблюдать Свод федеральных правил США 21 CFR, части 210–212. ^[12] За пределами США аналогичные руководства по целостности данных были выпущены Соединенным Королевством (2015), Швейцарией (2016) и Австралией (2017). ^[13]
Различные стандарты для производства медицинских устройств напрямую или косвенно касаются целостности данных, включая ISO 13485 , ISO 14155 и ISO 5840. ^[14]
В начале 2017 года Управление по регулированию финансовой отрасли (FINRA), отметив проблемы с целостностью данных в автоматизированных системах торговли и наблюдения за движением денег, заявило, что сделает «разработку программы целостности данных для контроля точности представленных данных» приоритетом. ^[15] В начале 2018 года FINRA заявило, что расширит свой подход к целостности данных на «политики и процедуры управления технологическими изменениями» компаний и обзоры ценных бумаг Казначейства. ^[16]
Другие секторы, такие как горнодобывающая промышленность ^[17] и производство продукции ^[18], все больше внимания уделяют важности целостности данных в связанных с ними активах автоматизации и мониторинга производства.
Поставщики облачных хранилищ уже давно сталкиваются со значительными проблемами обеспечения целостности или происхождения данных клиентов и отслеживания нарушений. ^[19]^[20]^[21]

Смотрите также

Ссылки

^ Бориц, Дж. «Взгляды практиков ИС на основные концепции целостности информации». Международный журнал по системам бухгалтерской информации . Elsevier. Архивировано из оригинала 5 октября 2011 г. Получено 12 августа 2011 г.
^ Что такое целостность данных? Узнайте, как обеспечить целостность данных базы данных с помощью проверок, тестов и передового опыта
^ Что такое целостность данных? Защита данных 101
↑ Из книги: Слежка и социальные последствия имплантации микрочипов: новые данные, страница 40
^ Виджаян Прабхакаран (2006). "IRON FILE SYSTEMS" (PDF) . Доктор философии в области компьютерных наук . Университет Висконсин-Мэдисон. Архивировано (PDF) из оригинала 2022-10-09 . Получено 9 июня 2012 г.
^ «Паритет потерян и паритет восстановлен».
^ "Анализ повреждения данных в стеке хранения" (PDF) . Архивировано (PDF) из оригинала 2022-10-09.
^ "Влияние повреждения диска на СУБД с открытым исходным кодом" (PDF) . Архивировано (PDF) из оригинала 2022-10-09.
^ "Baarf.com". Baarf.com . Получено 4 ноября 2011 г. .
^ Бирман, Маргарет; Гриммер, Ленц (август 2012 г.). «Как я использую расширенные возможности Btrfs» . Получено 2014-01-02 .
^ Юпу Чжан; Абишек Раджимвале; Андреа Арпачи-Дюссо ; Ремзи Х. Арпачи-Дюссо (2010). "Сквозная целостность данных для файловых систем: исследование случая ZFS" (PDF) . Конференция USENIX по технологиям хранения файлов . CiteSeerX 10.1.1.154.3979 . S2CID 5722163. Wikidata Q111972797 . Получено 2014-01-02 .
^ "Целостность данных и соответствие CGMP: Руководство для промышленности" (PDF) . Управление по контролю за продуктами и лекарствами США. Апрель 2016 г. Архивировано (PDF) из оригинала 2022-10-09 . Получено 20 января 2018 г. .
^ Дэвидсон, Дж. (18 июля 2017 г.). «Руководство по обеспечению целостности данных во всем мире». Contract Pharma . Rodman Media . Получено 20 января 2018 г. .
^ Scannel, P. (12 мая 2015 г.). «Целостность данных: перспектива с точки зрения нормативно-правовой базы медицинских устройств и стандартов» (PDF) . Семинар по целостности данных . Ассоциация парентеральных препаратов. стр. 10–57. Архивировано из оригинала (PDF) 20 января 2018 г. . Получено 20 января 2018 г. .
^ Кук, Р. (4 января 2017 г.). «Письмо о приоритетах регулирования и проверки 2017 г.». Управление по регулированию финансовой отрасли . Получено 20 января 2018 г.
^ Кук, Р. (8 января 2018 г.). «Письмо о приоритетах регулирования и проверки 2018 г.». Управление по регулированию финансовой отрасли . Получено 20 января 2018 г.
^ "Целостность данных: обеспечение эффективных решений в горнодобывающей промышленности" (PDF) . Accenture. 2016. Архивировано (PDF) из оригинала 2022-10-09 . Получено 20 января 2018 г.
^ «Индустрия 4.0 и киберфизические системы повышают императив целостности данных». Блог Nymi . Nymi, Inc. 24 октября 2017 г. Получено 20 января 2018 г.^{[ постоянная мертвая ссылка ]}
^ Priyadharshini, B.; Parvathi, P. (2012). «Целостность данных в облачном хранилище». Труды Международной конференции 2012 года по достижениям в области инженерии, науки и управления . ISBN 9788190904223.
^ Зафар, Ф.; Хан, А.; Малик, СУР; и др. (2017). «Обзор схем обеспечения целостности данных облачных вычислений: проблемы проектирования, таксономия и будущие тенденции». Компьютеры и безопасность . 65 (3): 29–49. doi :10.1016/j.cose.2016.10.006.
^ Имран, М.; Хлавач, Х.; Хак, ИУИ; и др. (2017). «Проверка и верификация целостности данных на основе происхождения в облачных средах». PLOS ONE . 12 (5): e0177576. Bibcode : 2017PLoSO..1277576I. doi : 10.1371/journal.pone.0177576 . PMC 5435237. PMID 28545151 .