Дедупликация данных - Data deduplication

В вычисление, дедупликация данных это метод устранения дубликатов повторяющихся данных. Родственный и несколько синонимичный термин: одноэкземплярное хранилище (данных). Этот метод используется для улучшения использования хранилища, а также может применяться к передаче данных по сети, чтобы уменьшить количество байтов, которые должны быть отправлены. В процессе дедупликации уникальные фрагменты данных или байтовые шаблоны идентифицируются и сохраняются в процессе анализа. По мере продолжения анализа другие фрагменты сравниваются с сохраненной копией, и всякий раз, когда происходит совпадение, избыточный фрагмент заменяется небольшой ссылкой, указывающей на сохраненный фрагмент. Учитывая, что один и тот же байтовый шаблон может встречаться десятки, сотни или даже тысячи раз (частота совпадений зависит от размера блока), объем данных, которые необходимо сохранить или передать, можно значительно уменьшить.[1][2]

Дедупликация отличается от алгоритмов сжатия данных, таких как LZ77 и LZ78. В то время как алгоритмы сжатия идентифицируют избыточные данные внутри отдельных файлов и кодируют эти избыточные данные более эффективно, цель дедупликации состоит в том, чтобы проверять большие объемы данных и идентифицировать большие разделы, такие как целые файлы или большие разделы файлов, которые идентичны, и заменять их. с общей копией.

Принцип действияНапример, типичная система электронной почты может содержать 100 экземпляров одного и того же 1 МБ (мегабайт ) файл вложения. Каждый раз Эл. адрес платформы, все 100 экземпляров вложения сохраняются, что требует 100 МБ дискового пространства. При дедупликации данных фактически сохраняется только один экземпляр вложения; последующие экземпляры ссылаются на сохраненную копию для коэффициента дедупликации примерно 100: 1. Дедупликация часто сочетается со сжатием данных для дополнительной экономии хранилища: дедупликация сначала используется для удаления больших фрагментов повторяющихся данных, а затем сжатие используется для эффективного кодировать каждый из сохраненных фрагментов.[3]

Льготы

Дедупликация данных на основе хранилища уменьшает объем хранилища, необходимый для данного набора файлов. Он наиболее эффективен в приложениях, где на одном диске хранится много копий очень похожих или даже идентичных данных - удивительно распространенный сценарий. В случае резервного копирования данных, которое обычно выполняется для защиты от потери данных, большая часть данных в данной резервной копии остается неизменной по сравнению с предыдущей резервной копией. Обычные системы резервного копирования пытаются воспользоваться этим, опуская (или жесткая ссылка ) файлы, которые не изменились или не хранятся различия между файлами. Однако ни один из подходов не учитывает всех избыточностей. Жесткое связывание не помогает с большими файлами, которые изменились лишь незначительно, например, с базой данных электронной почты; различия обнаруживают избыточность только в соседних версиях одного файла (рассмотрим раздел, который был удален, а затем снова добавлен, или изображение логотипа, включенное во многие документы). Дедупликация сетевых данных в оперативном режиме используется для уменьшения количества байтов, которые должны передаваться между конечными точками, что может уменьшить требуемую полосу пропускания. Увидеть Оптимизация WAN Виртуальные серверы и виртуальные рабочие столы выигрывают от дедупликации, поскольку она позволяет объединить номинально отдельные системные файлы для каждой виртуальной машины в единое пространство хранения. В то же время, если данная виртуальная машина настраивает файл, дедупликация не изменит файлы на других виртуальных машинах - чего нет в таких альтернативах, как жесткие ссылки или общие диски. Аналогичным образом улучшено резервное копирование или создание дубликатов виртуальных сред.

Классификация

Постобработка и дедупликация на линии

Дедупликация может происходить «на лету», когда данные передаются, или «пост-процесс» после того, как они были записаны.

При постпроцессной дедупликации новые данные сначала сохраняются на запоминающем устройстве, а затем процесс в более позднее время будет анализировать данные на предмет дублирования. Преимущество в том, что нет необходимости ждать хэш вычисления и поиск должны быть выполнены перед сохранением данных, чтобы гарантировать, что производительность хранилища не ухудшится. Реализации, предлагающие работу на основе политик, могут дать пользователям возможность отложить оптимизацию «активных» файлов или обработать файлы в зависимости от типа и местоположения. Одним из потенциальных недостатков является то, что повторяющиеся данные могут без необходимости храниться в течение короткого времени, что может быть проблематичным, если система приближается к полной загрузке.

В качестве альтернативы, вычисления хэша дедупликации могут выполняться в режиме реального времени: синхронизироваться по мере поступления данных на целевое устройство. Если система хранения идентифицирует блок, который она уже сохранила, сохраняется только ссылка на существующий блок, а не весь новый блок.

Преимущество оперативной дедупликации перед дедупликацией постобработки состоит в том, что она требует меньшего объема памяти и сетевого трафика, поскольку дублирующиеся данные никогда не хранятся и не передаются. С другой стороны, хеш-вычисления могут быть дорогостоящими в вычислительном отношении, что снижает пропускную способность хранилища. Однако некоторые поставщики со встроенной дедупликацией продемонстрировали оборудование, способное выполнять оперативную дедупликацию с высокой скоростью.

Методы постобработки и встроенной дедупликации часто вызывают серьезные споры.[4][5]

Форматы данных

Словарь SNIA определяет два метода:[2]

  • Дедупликация данных без учета содержимого - метод дедупликации данных, не требующий осведомленности о конкретных форматах данных приложения.
  • Дедупликация данных с учетом содержимого - метод дедупликации данных, который использует знания о конкретных форматах данных приложений.

Исходная и целевая дедупликация

Другой способ классификации методов дедупликации данных - в зависимости от того, где они происходят. Дедупликация, происходящая рядом с местом создания данных, называется «дедупликацией источника». Когда это происходит рядом с местом хранения данных, это называется «целевой дедупликацией».

Дедупликация источника гарантирует дедупликацию данных в источнике данных. Обычно это происходит непосредственно в файловой системе. Файловая система будет периодически сканировать новые файлы, создавая хеши, и сравнивать их с хешами существующих файлов. Когда обнаруживаются файлы с одинаковыми хэшами, копия файла удаляется, и новый файл указывает на старый файл. в отличие жесткие ссылки однако дублированные файлы считаются отдельными объектами, и если один из дублированных файлов впоследствии будет изменен, то с использованием системы, называемой копирование при записи создается копия этого измененного файла или блока. Процесс дедупликации прозрачен для пользователей и приложений резервного копирования. Резервное копирование дедуплицированной файловой системы часто приводит к дублированию, в результате чего размер резервных копий превышает размер исходных данных.[6][7]

Дедупликацию источника можно объявить явно для операций копирования, так как не требуется никаких вычислений, чтобы знать, что скопированные данные нуждаются в дедупликации. Это приводит к новой форме "связывания" файловых систем, называемой ссылка (Linux) или файл-клон (MacOS), где один или несколько inodes (записи информации о файлах) предназначены для совместного использования некоторых или всех своих данных. Называется аналогично жесткие ссылки, которые работают на уровне inode, и символические ссылки которые работают на уровне имени файла.[8] Отдельные записи имеют поведение копирования при записи, которое не связано с псевдонимом, т.е. изменение одной копии впоследствии не повлияет на другие копии.[9] Microsoft ReFS также поддерживает эту операцию.[10]

Целевая дедупликация - это процесс удаления дубликатов, когда данные не были созданы в этом месте. Примером этого может быть сервер, подключенный к SAN / NAS, SAN / NAS будет целью для сервера (целевая дедупликация). Сервер не знает никакой дедупликации, сервер также является точкой генерации данных. Второй пример - резервное копирование. Как правило, это будет резервное хранилище, такое как репозиторий данных или виртуальная ленточная библиотека.

Методы дедупликации

Одна из наиболее распространенных форм реализации дедупликации данных заключается в сравнении фрагментов данных для обнаружения дубликатов. Для этого каждому блоку данных присваивается идентификатор, вычисляемый программным обеспечением, обычно с использованием криптографических хеш-функций. Во многих реализациях предполагается, что если идентификация идентична, данные идентичны, даже если это не может быть верным во всех случаях из-за принцип голубятни; другие реализации не предполагают, что два блока данных с одинаковым идентификатором идентичны, но фактически проверяют идентичность данных с одинаковым идентификатором.[11] Если программное обеспечение либо предполагает, что данная идентификация уже существует в пространстве имен дедупликации, либо фактически проверяет идентичность двух блоков данных, в зависимости от реализации, то оно заменяет этот повторяющийся фрагмент ссылкой.

После того, как данные были дедуплицированы, при обратном чтении файла, где бы ни была найдена ссылка, система просто заменяет эту ссылку указанным фрагментом данных. Процесс дедупликации должен быть прозрачным для конечных пользователей и приложений.

Коммерческие реализации дедупликации различаются методами и архитектурой фрагментов.

  • Нарезка. В некоторых системах блоки определяются ограничениями физического уровня (например, размером блока 4 КБ в WAFL ). В некоторых системах сравниваются только полные файлы, что называется одноэкземплярное хранилище или SIS. Наиболее интеллектуальным (но интенсивным для ЦП) методом разбиения на фрагменты обычно считается скользящий блок. В скользящем блоке вдоль файлового потока передается окно для поиска более естественных внутренних границ файла.
  • Дедупликация резервного копирования клиента. Это процесс, при котором вычисления хэша дедупликации первоначально создаются на исходных (клиентских) машинах. Файлы, которые имеют идентичные хэши с файлами, уже находящимися на целевом устройстве, не отправляются, целевое устройство просто создает соответствующие внутренние ссылки для ссылки на дублированные данные. Преимущество этого заключается в том, что данные не передаются по сети без надобности, что снижает нагрузку на трафик.
  • Первичное хранилище и вторичное хранилище. По определению, первичные системы хранения рассчитаны на оптимальную производительность, а не на минимально возможную стоимость. Критериями проектирования этих систем является повышение производительности за счет других соображений. Более того, первичные системы хранения гораздо менее терпимы к любым операциям, которые могут отрицательно повлиять на производительность. Также по определению вторичные системы хранения содержат в основном дубликаты или вторичные копии данных. Эти копии данных обычно не используются для реальных производственных операций и, как следствие, более терпимы к некоторому снижению производительности в обмен на повышение эффективности.

На сегодняшний день дедупликация данных преимущественно используется с вторичными системами хранения. У этого есть две причины. Во-первых, дедупликация данных требует дополнительных затрат на обнаружение и удаление повторяющихся данных. В первичных системах хранения эти накладные расходы могут повлиять на производительность. Вторая причина, по которой дедупликация применяется к вторичным данным, заключается в том, что вторичные данные имеют тенденцию иметь больше повторяющихся данных. В частности, приложение резервного копирования обычно со временем создает значительные порции повторяющихся данных.

Дедупликация данных была успешно развернута с первичным хранилищем в некоторых случаях, когда конструкция системы не требует значительных накладных расходов и не влияет на производительность.

Одноэкземплярное хранилище

Одноэкземплярное хранилище (SIS) - это способность системы брать несколько копий объектов контента и заменять их одной общей копией. Это средство устранения дублирования данных и повышения эффективности. SIS часто внедряется в файловые системы, почтовый сервер программного обеспечения, данные резервный и другое программное обеспечение для хранения данных. Одноэкземплярное хранилище - это простой вариант дедупликация данных. В то время как дедупликация данных может работать на уровне сегмента или субблока, единичное хранилище работает на уровне объекта, устраняя избыточные копии объектов, таких как целые файлы или сообщения электронной почты.[12]

Недостатки и проблемы

Один из методов дедупликации данных основан на использовании криптографические хеш-функции для выявления повторяющихся сегментов данных. Если два разных фрагмента информации генерируют одно и то же значение хеш-функции, это называется столкновение. Вероятность коллизии в основном зависит от длины хеш-кода (см. атака на день рождения ). Таким образом, возникает опасение, что повреждение данных может произойти, если хэш-коллизия происходит, и дополнительные средства проверки не используются, чтобы проверить, есть ли разница в данных или нет. Как в линейной, так и в постпроцессорной архитектуре могут предлагаться побитовая проверка исходных данных для гарантированной целостности данных.[13] Используемые хэш-функции включают такие стандарты, как SHA-1, SHA-256 и другие.

Интенсивность вычислительных ресурсов процесса может быть недостатком дедупликации данных. Для повышения производительности некоторые системы используют как слабые, так и сильные хэши. Слабые хэши вычисляются гораздо быстрее, но существует больший риск коллизии хешей. Системы, использующие слабые хеш-коды, впоследствии будут вычислять сильные хеш-значения и будут использовать его в качестве определяющего фактора для того, действительно ли это одни и те же данные или нет. Обратите внимание, что системные издержки, связанные с вычислением и поиском хеш-значений, в основном являются функцией рабочего процесса дедупликации. Восстановление файлов не требует этой обработки, и любое дополнительное снижение производительности, связанное с повторной сборкой блоков данных, вряд ли повлияет на производительность приложения.

Еще одна проблема - взаимодействие сжатия и шифрования. Цель шифрования - устранить любые заметные закономерности в данных. Таким образом, зашифрованные данные не могут быть дедуплицированы, даже если базовые данные могут быть избыточными.

Хотя дедупликация данных не является недостатком, имели место утечки данных, когда недостаточная безопасность и процедуры проверки доступа использовались с большими репозиториями дедуплицированных данных. В некоторых системах, как это обычно бывает с облачным хранилищем,[нужна цитата ] злоумышленник может получить данные, принадлежащие другим, зная или угадав хэш-значение желаемых данных.[14]

Реализации

Дедупликация реализована в некоторых файловых системах, например в ZFS[15] или Формат файла Write Anywhere и в разных дисковые массивы модели.

Смотрите также

использованная литература

  1. ^ «Понимание дедупликации данных». Друва. 2009-01-09. Архивировано из оригинал на 2019-08-06. Получено 2019-08-06.
  2. ^ а б Словарь СНИА »Словарь D
  3. ^ Сжатие, дедупликация и шифрование: в чем разница?, Стивен Бигелоу и Пол Крочетти
  4. ^ «Дедупликация в процессе или после обработки? (Обновлено 6-08)». Центр резервного копирования. Архивировано из оригинал на 2009-12-06. Получено 2009-10-16.
  5. ^ «Встроенные устройства дедупликации и постобработка». Searchdatabackup.techtarget.com. Получено 2009-10-16.
  6. ^ «Windows Server 2008: Windows Storage Server 2008». Microsoft.com. Архивировано из оригинал на 2009-10-04. Получено 2009-10-16.
  7. ^ «Продукты - Платформа ОС». NetApp. Получено 2009-10-16.
  8. ^ "Системный вызов reflink (2) v5". lwn.net.
  9. ^ "ioctl_ficlonerange (2)". Страница руководства Linux.
  10. ^ Казуки МАЦУДА. «Добавить файл клонирования в Windows через поддержку ReFS». GitHub.
  11. ^ Пример реализации, которая проверяет личность, а не предполагает ее, описан в "Заявка на патент США № 20090307251".
  12. ^ Объяснение клиентам скорости дедупликации и единого хранилища. Джордж Крамп, Storage Switzerland
  13. ^ Дедупликация данных - почему, когда, где и как, Группа экспертов, получено 2011-07-05
  14. ^ ХРИСТИАН КАШИН; МАТТИАС ШАНТЕР (декабрь 2011 г.). «Облако, которому можно доверять». IEEE Spectrum. IEEE. Получено 2011-12-21.
  15. ^ Автор, Гость. «Дедупликация ZFS». blogs.oracle.com. Получено 25 ноября 2019.

внешние ссылки