Виртуализация хранилища - Storage virtualization

Эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален. Найдите источники: «Виртуализация хранилища»  – Новости  · газеты  · книги  · ученый  · JSTOR (Июль 2011 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В Информатика, виртуализация хранилища это "процесс представления логического представления о физических место хранения ресурсы для "^[1] система главного компьютера, «обрабатывающая все носители информации (жесткий диск, оптический диск, магнитную ленту и т. д.) на предприятии как единый пул хранения».^[2]

«Система хранения» также известна как массив хранения. дисковый массив, или же файлер. В системах хранения обычно используется специальное оборудование и программное обеспечение вместе с дисковыми накопителями, чтобы обеспечить очень быстрое и надежное хранилище для вычислений и обработки данных. Системы хранения являются сложными, и их можно рассматривать как компьютер специального назначения, предназначенный для обеспечения емкости хранения наряду с расширенными функциями защиты данных. Дисковые накопители - это только один элемент в системе хранения, наряду с оборудованием и встроенным программным обеспечением специального назначения в системе.

Системы хранения могут предоставлять хранилище с блочным доступом или файловое хранилище. Блокированный доступ обычно доставляется через Fibre Channel, iSCSI, SAS, ФИКОН или другие протоколы. Доступ к файлам часто предоставляется с помощью NFS или же SMB протоколы.

В контексте системы хранения возможны два основных типа виртуализации:

• Блокировать виртуализацию в данном контексте относится к абстракции (разделению) логическая память (раздел) из физическое хранилище так что к нему можно получить доступ независимо от физического хранилища или гетерогенной структуры. Такое разделение позволяет администраторам системы хранения более гибко управлять хранением для конечных пользователей.^[3]
• Файловая виртуализация обращается к NAS проблемы, устраняя зависимости между данными, доступ к которым осуществляется на уровне файла, и местом, где файлы физически хранятся. Это дает возможность оптимизировать использование хранилища и консолидацию серверов, а также выполнять миграцию файлов без прерывания работы.

Блокировать виртуализацию

Переназначение адресного пространства

Виртуализация хранилища помогает добиться независимости местоположения за счет абстрагирования физического местоположения данных. Система виртуализации предоставляет пользователю логическое пространство для хранения данных и обрабатывает процесс его сопоставления с фактическим физическим расположением.

Возможно использование нескольких уровней виртуализации или сопоставления. Тогда возможно, что выходные данные одного уровня виртуализации могут затем использоваться в качестве входных данных для более высокого уровня виртуализации. Виртуализация сопоставляет пространство между внутренними ресурсами и внешними ресурсами. В этом случае «бэкэнд» относится к номер логической единицы (LUN), который не предоставляется компьютеру или хост-системе для прямого использования. "Внешний" LUN или том предоставляется хосту или компьютерной системе для использования.

Фактическая форма отображения будет зависеть от выбранной реализации. Некоторые реализации могут ограничивать степень детализации отображения, что может ограничивать возможности устройства. Типичная степень детализации варьируется от одного физического диска до некоторого небольшого подмножества (кратного мегабайтам или гигабайтам) физического диска.

В блочной среде хранения один блок информации адресуется с использованием идентификатора LUN и смещения внутри этого LUN, известного как логическая адресация блока (LBA).

Метаданные

Программное обеспечение или устройство виртуализации отвечает за поддержание согласованного представления всей информации о сопоставлении для виртуализированного хранилища. Эту картографическую информацию часто называют метаданные и хранится в виде таблицы сопоставления.

Адресное пространство может быть ограничено емкостью, необходимой для поддержки таблицы отображения. Уровень детализации и общее адресное пространство напрямую влияют на размер метаданных и, следовательно, на таблицу сопоставления. По этой причине обычно приходится идти на компромисс между объемом адресуемой емкости и гранулярностью или гранулярностью доступа.

Один из распространенных методов устранения этих ограничений - использование нескольких уровней виртуализации. В некоторых системах хранения, развернутых сегодня, обычно используются три уровня виртуализации.^[4]

Некоторые реализации не используют таблицу сопоставления, а вместо этого вычисляют местоположения с помощью алгоритма. Эти реализации используют динамические методы для вычисления местоположения при доступе, а не хранят информацию в таблице сопоставления.

Перенаправление ввода / вывода

Программное обеспечение или устройство виртуализации использует метаданные для перенаправления запросов ввода-вывода. Он получит входящий запрос ввода-вывода, содержащий информацию о расположении данных на логическом диске (виртуальном диске), и преобразует его в новый запрос ввода-вывода в расположение физического диска.

Например, устройство виртуализации может:

• Получите запрос на чтение для виртуального диска LUN ID = 1, LBA = 32
• Выполните поиск в метаданных для LUN ID = 1, LBA = 32 и обнаружите, что это соответствует физическому LUN ID = 7, LBA0
• Отправляет запрос на чтение на физический LUN ID = 7, LBA0
• Получает данные обратно с физического LUN
• Отправляет данные обратно отправителю, как если бы они были получены с виртуального диска LUN ID = 1, LBA32

Возможности

Большинство реализаций допускают разнородное управление устройствами хранения от различных производителей в рамках матрицы поддержки данной реализации. Это означает, что следующие возможности не ограничиваются устройством одного поставщика (как и аналогичные возможности, предоставляемые конкретными контроллерами хранилища), а фактически возможны на устройствах разных поставщиков.

Репликация

Методы репликации данных не ограничиваются устройствами виртуализации и как таковые здесь подробно не описываются. Однако большинство реализаций предоставляют некоторые или все эти службы репликации.

Когда хранилище виртуализировано, службы репликации должны быть реализованы над программным обеспечением или устройством, которое выполняет виртуализацию. Это правда, потому что только над уровнем виртуализации можно скопировать истинный и согласованный образ логического диска (виртуального диска). Это ограничивает услуги, которые могут реализовать некоторые реализации, или серьезно затрудняет их реализацию. Если виртуализация реализована в сети или выше, это делает бесполезными любые услуги репликации, предоставляемые базовыми контроллерами хранения.

• Удаленная репликация данных для аварийное восстановление
  • Синхронное зеркалирование - когда завершение ввода-вывода возвращается только тогда, когда удаленный сайт подтверждает завершение. Применимо для меньших расстояний (<200 км)
  • Асинхронное зеркалирование - когда завершение ввода-вывода возвращается до того, как удаленный сайт подтвердил завершение. Подходит для гораздо больших расстояний (> 200 км)
• Моментальные снимки для копирования или клонирования данных для различных целей
  • В сочетании с тонкое обеспечение, позволяет делать снимки, не занимающие много места

Объединение

Ресурсы физического хранилища объединяются в пулы хранения, из которых создается логическое хранилище. Дополнительные системы хранения, которые могут быть разнородными по своей природе, могут быть добавлены по мере необходимости, и виртуальное пространство хранения будет увеличиваться на ту же величину. Этот процесс полностью прозрачен для приложений, использующих инфраструктуру хранения.

Управление диском

Программное обеспечение или устройство, обеспечивающее виртуализацию хранилища, становится обычным диспетчером дисков в виртуализированной среде. Логические диски (виртуальные диски) создаются программным обеспечением или устройством виртуализации и сопоставляются (становятся видимыми) на требуемый хост или сервер, тем самым обеспечивая общее место или способ управления всеми томами в среде.

В этой среде легко обеспечить расширенные функции:

• Thin Provisioning для максимального использования хранилища
  • Это относительно легко реализовать, поскольку физическая память выделяется в таблице сопоставления только тогда, когда она используется.
• Расширение и сжатие диска
  • Можно выделить больше физического хранилища, добавив в таблицу сопоставления (при условии, что используемая система может справиться с онлайн-расширением)
  • Точно так же диски можно уменьшить в размере, удалив часть физического хранилища из сопоставления (использование для этого ограничено, поскольку нет гарантии, что находится в удаленных областях)

Преимущества

Миграция данных без прерывания работы

Одним из основных преимуществ абстрагирования хоста или сервера от фактического хранилища является возможность мигрировать данные при одновременном доступе к вводу-выводу.

Хост знает только о логическом диске (подключенном LUN), поэтому любые изменения в сопоставлении метаданных прозрачны для хоста. Это означает, что фактические данные можно перемещать или реплицировать в другое физическое место, не влияя на работу какого-либо клиента. Когда данные были скопированы или перемещены, метаданные можно просто обновить, чтобы они указывали на новое местоположение, тем самым освобождая физическое хранилище в старом местоположении.

Процесс перемещения физического местоположения известен как перенос данных. Большинство реализаций позволяют сделать это без прерывания работы, то есть одновременно, пока хост продолжает выполнять ввод-вывод на логический диск (или LUN).

Степень детализации сопоставления определяет, насколько быстро могут быть обновлены метаданные, какая дополнительная емкость потребуется во время миграции и как быстро предыдущее местоположение будет помечено как свободное. Чем меньше степень детализации, тем быстрее выполняется обновление, требуется меньше места и быстрее можно освободить старое хранилище.

Администратору хранилища приходится выполнять множество повседневных задач, которые можно просто и одновременно выполнять с помощью методов миграции данных.

• Перемещение данных с чрезмерно загруженного устройства хранения.
• Перенос данных на более быстрое устройство хранения по мере необходимости
• Реализация Управление жизненным циклом информации политика
• Перенос данных со старых запоминающих устройств (списанных или сданных в аренду)

Улучшенное использование

Использование может быть увеличено за счет служб пула, миграции и тонкого выделения ресурсов. Это позволяет пользователям избежать чрезмерной покупки и выделения ресурсов для хранения данных. Другими словами, этот вид использования через общий пул хранилища можно легко и быстро выделить, поскольку это необходимо, чтобы избежать ограничений на емкость хранилища, которые часто снижают производительность приложений.^[5]

Когда вся доступная емкость хранилища объединена в пул, системным администраторам больше не нужно искать диски, на которых есть свободное пространство для выделения определенному хосту или серверу. Новый логический диск можно просто выделить из доступного пула или расширить существующий диск.

Объединение также означает, что потенциально можно использовать всю доступную емкость хранилища. В традиционной среде хосту будет сопоставлен весь диск. Это может быть больше, чем требуется, что приводит к потере места. В виртуальной среде логическому диску (LUN) назначается емкость, необходимая для используемого хоста.

Хранение может быть назначено там, где оно необходимо в данный момент, что снижает необходимость в Угадай сколько потребуется данному хосту в будущем. С помощью Тонкое обеспечение, администратор может создать очень большой логический диск с тонким выделением ресурсов, поэтому используемая система считает, что с первого дня у нее очень большой диск.

Меньше точек управления

При виртуализации хранилища несколько независимых устройств хранения, даже если они разбросаны по сети, кажутся одним монолитным устройством хранения, которым можно управлять централизованно.

Однако по-прежнему требуется традиционное управление контроллером хранилища. То есть создание и поддержание RAID массивы, включая управление ошибками и сбоями.

Риски

Отказ от неудачной реализации

После того, как уровень абстракции создан, только виртуализатор знает, где данные фактически находятся на физическом носителе. Следовательно, для выхода из виртуальной среды хранения требуется реконструкция логических дисков как смежных дисков, которые можно использовать традиционным образом.

Большинство реализаций предоставляют некоторую форму процедуры возврата, а со службами миграции данных это, по крайней мере, возможно, но требует много времени.

Совместимость и поддержка поставщиков

Функциональная совместимость - ключевой фактор для любого программного обеспечения или устройства виртуализации. Он применяется к реальным контроллерам физических хранилищ и хостам, их операционным системам, многопутевому программному обеспечению и оборудованию для подключения.

Требования к взаимодействию различаются в зависимости от выбранной реализации. Например, виртуализация, реализованная в контроллере хранилища, не добавляет дополнительных накладных расходов к взаимодействию на основе хоста, но потребует дополнительной поддержки других контроллеров хранилища, если они должны быть виртуализированы с помощью того же программного обеспечения.

Виртуализация на основе коммутатора может не требовать взаимодействия определенного хоста - если он использует методы взлома пакетов для перенаправления ввода-вывода.

Сетевые устройства предъявляют наивысший уровень требований к совместимости, поскольку они должны взаимодействовать со всеми устройствами, хранилищами и хостами.

Сложность

Сложность затрагивает несколько областей:

• Управление средой: несмотря на то, что инфраструктура виртуального хранилища выигрывает от единой точки управления логическим диском и службами репликации, управление физическим хранилищем все же необходимо. Определение проблем и изоляция неисправностей также могут стать сложными из-за уровня абстракции.
• Проектирование инфраструктуры: традиционная этика дизайна может больше не применяться, виртуализация дает возможность задуматься над целым рядом новых идей и концепций (как подробно описано здесь)
• Само программное обеспечение или устройство: некоторые реализации более сложны для проектирования и кодирования - в частности, на основе сети, особенно внутриполосных (симметричных) - эти реализации фактически обрабатывают запросы ввода-вывода, и поэтому задержка становится проблемой.

Управление метаданными

Информация - один из самых ценных активов в современной деловой среде. После виртуализации метаданные становятся связующим звеном в середине. Если метаданные будут потеряны, то же самое произойдет и со всеми фактическими данными, поскольку было бы практически невозможно восстановить логические диски без информации о сопоставлении.

Любая реализация должна обеспечивать свою защиту с соответствующими уровнями резервных копий и реплик. Важно иметь возможность восстанавливать метаданные в случае катастрофического сбоя.

Управление метаданными также влияет на производительность. Любое программное обеспечение или устройство виртуализации должно иметь возможность сохранять все копии метаданных атомарными и быстро обновляемыми. Некоторые реализации ограничивают возможность предоставления определенных функций быстрого обновления, таких как копирование на определенный момент времени и кэширование, где требуются сверхбыстрые обновления для обеспечения минимальной задержки для фактического выполняемого ввода-вывода.

Производительность и масштабируемость

В некоторых реализациях производительность физического хранилища действительно может быть улучшена, в основном за счет кэширования. Однако кэширование требует видимости данных, содержащихся в запросе ввода-вывода, и поэтому ограничивается программным обеспечением и устройствами внутриполосной и симметричной виртуализации. Однако эти реализации также напрямую влияют на задержку запроса ввода-вывода (пропуск кэша) из-за того, что ввод-вывод должен проходить через программное обеспечение или устройство. Если предположить, что программное обеспечение или устройство разработаны эффективно, это влияние должно быть минимальным по сравнению с задержкой, связанной с доступом к физическому диску.

Из-за природы виртуализации сопоставление логического и физического требует некоторой вычислительной мощности и таблиц поиска. Следовательно, каждая реализация будет добавлять небольшую задержку.

Помимо времени отклика необходимо учитывать и пропускную способность. Пропускная способность программного обеспечения поиска метаданных напрямую влияет на доступную пропускную способность системы. В асимметричных реализациях, где поиск метаданных происходит до того, как информация будет считана или записана, полоса пропускания не вызывает беспокойства, поскольку метаданные составляют крошечную часть фактического размера ввода-вывода. Внутриполосный симметричный поток через конструкции напрямую ограничивается их вычислительной мощностью и полосой пропускания.

Большинство реализаций предоставляют ту или иную форму горизонтально масштабируемой модели, в которой включение дополнительного программного обеспечения или экземпляров устройств обеспечивает повышенную масштабируемость и потенциально увеличенную полосу пропускания. Выбранная реализация напрямую влияет на характеристики производительности и масштабируемости.

Подходы к реализации

• На основе хоста
• На основе устройства хранения
• На основе сети

На основе хоста

Для виртуализации на основе хоста требуется дополнительное программное обеспечение, работающее на хосте в качестве привилегированной задачи или процесса. В некоторых случаях управление томами встроено в операционную систему, а в других случаях предлагается как отдельный продукт. Тома (LUN), представленные хост-системе, обрабатываются традиционным драйвером физического устройства. Однако программный уровень (диспетчер томов) находится над драйвером дискового устройства, перехватывает запросы ввода-вывода и обеспечивает поиск метаданных и отображение ввода-вывода.

Большинство современных операционных систем имеют встроенное управление логическими томами (в Linux это называется Диспетчер логических томов или LVM; в Solaris и FreeBSD, ZFS слой zpool; в Windows называется Диспетчер логических дисков или LDM), который выполняет задачи виртуализации.

Примечание. Диспетчеры томов на основе хоста использовались задолго до этого срока. виртуализация хранилища был придуман.

Плюсы

• Простой дизайн и код
• Поддерживает любой тип хранилища
• Улучшает использование хранилища без тонкое обеспечение ограничения

он использует для хранения данных в виртуальном доступе он виртуально

Минусы

• Использование хранилища оптимизировано только для каждого хоста
• Репликация и перенос данных возможны только локально на этот хост
• Программное обеспечение уникально для каждой операционной системы
• Нет простого способа синхронизировать экземпляры хоста с другими экземплярами
• Традиционное восстановление данных после сбоя жесткого диска сервера невозможно

Конкретные примеры

• Технологии:
  • Управление логическими томами
  • Файловые системы, например, (жесткие ссылки, SMB /NFS )
  • Автоматический монтаж, например, (autofs )

На основе устройства хранения

Как и виртуализация на основе хоста, несколько категорий существуют уже много лет и только недавно были классифицированы как виртуализация. Простые устройства хранения данных, например одиночные жесткие диски, не предоставляют никакой виртуализации. Но даже самый простой дисковые массивы обеспечивают абстракцию от логической к физической, поскольку они используют RAID схемы для объединения нескольких дисков в один массив (и, возможно, позже разделить массив на меньшие тома).

Усовершенствованные дисковые массивы часто включают клонирование, моментальные снимки и удаленную репликацию. Как правило, эти устройства не обеспечивают преимуществ миграции или репликации данных в разнородном хранилище, поскольку каждый поставщик стремится использовать свои собственные проприетарные протоколы.

Новое поколение контроллеров дисковых массивов позволяет подключать другие устройства хранения. В рамках этой статьи мы обсудим только более поздний стиль, который фактически виртуализирует другие устройства хранения.

Концепция

Первичный контроллер хранилища предоставляет услуги и позволяет напрямую подключать другие контроллеры хранилища. В зависимости от реализации они могут быть от одного или разных поставщиков.

Первичный контроллер будет предоставлять услуги объединения и управления метаданными. Он также может предоставлять услуги репликации и миграции между теми контроллерами, которыми он является.

Плюсы

• Никаких дополнительных требований к оборудованию или инфраструктуре
• Предоставляет большинство преимуществ виртуализации хранилища
• Не увеличивает задержку для отдельных операций ввода-вывода

Минусы

• Использование хранилища оптимизировано только на подключенных контроллерах
• Репликация и перенос данных возможны только между подключенными контроллерами и устройствами одного производителя для поддержки на большом расстоянии.
• Подключение подчиненного контроллера ограничено матрицей поддержки поставщиков
• Задержка ввода-вывода, попадания без попадания в кэш требуют, чтобы основной контроллер хранилища выдал вторичный нисходящий запрос ввода-вывода
• Увеличение ресурса инфраструктуры хранения, первичный контроллер хранения требует той же полосы пропускания, что и вторичные контроллеры хранения, чтобы поддерживать ту же пропускную способность.

На основе сети

Виртуализация хранилища, работающая на сетевом устройстве (обычно стандартном сервере или интеллектуальном коммутаторе) и использующем iSCSI или FC Оптоволоконный канал сети для подключения как SAN. Эти типы устройств являются наиболее доступной и реализуемой формой виртуализации.

Устройство виртуализации находится в SAN и обеспечивает уровень абстракции между хостами, выполняющими ввод-вывод, и контроллерами хранилища, обеспечивающими емкость хранилища.

Плюсы

• Настоящая виртуализация разнородных хранилищ
• Кэширование данных (повышение производительности) возможно при внутриполосном
• Единый интерфейс управления для всех виртуализированных хранилищ
• Услуги репликации на разнородных устройствах

Минусы

• Сложные матрицы совместимости - ограничены поддержкой поставщиков
• Трудно реализовать быстрое обновление метаданных на коммутируемых устройствах
• Для внеполосного режима требуется специальное программное обеспечение для хоста
• Внутриполосное управление может увеличить задержку ввода-вывода
• Внутриполосное самое сложное в дизайне и кодировании

На основе устройства или на основе коммутатора

Существует две обычно доступные реализации виртуализации сетевого хранилища: прибор на основе и выключатель -основан. Обе модели могут предоставлять одни и те же услуги, управление дисками, поиск метаданных, миграцию и репликацию данных. Обе модели также требуют некоторого вычислительного оборудования для предоставления этих услуг.

Устройства на базе устройств - это специализированные аппаратные устройства, которые в той или иной форме обеспечивают возможность подключения к SAN. Они находятся между хостами и хранилищем и в случае внутриполосных (симметричных) устройств могут предоставлять все преимущества и услуги, обсуждаемые в этой статье. Запросы ввода-вывода нацелены на само устройство, которое выполняет отображение метаданных перед перенаправлением ввода-вывода путем отправки собственного запроса ввода-вывода в базовое хранилище. Внутриполосное устройство также может обеспечивать кэширование данных, и большинство реализаций предоставляют некоторую форму кластеризации отдельных устройств для поддержания атомарного представления метаданных, а также данных кэша.

Устройства на основе коммутаторов, как следует из названия, находятся в аппаратном физическом коммутаторе, используемом для подключения устройств SAN. Они также находятся между хостами и хранилищем, но могут использовать различные методы для обеспечения сопоставления метаданных, например, взлом пакетов для отслеживания входящих запросов ввода-вывода и выполнения перенаправления ввода-вывода. Гораздо сложнее обеспечить атомарные обновления метаданных в коммутируемой среде, а услуги, требующие быстрых обновлений данных и метаданных, могут быть ограничены в коммутируемых реализациях.

Внутриполосное против внеполосного

Внутриполосный, также известный как симметричныйустройства виртуализации фактически находятся на пути данных между хостом и хранилищем. Все запросы ввода-вывода и их данные проходят через устройство. Хосты выполняют ввод-вывод для устройства виртуализации и никогда не взаимодействуют с реальным устройством хранения. Устройство виртуализации, в свою очередь, выполняет ввод-вывод для устройства хранения. Кэширование данных, статистика использования данных, услуги репликации, миграция данных и тонкое выделение ресурсов - все это легко реализуется во внутриполосном устройстве.

Из группы, также известный как асимметричный, устройства виртуализации иногда называют серверы метаданных. Эти устройства выполняют только функции отображения метаданных. Для этого требуется дополнительное программное обеспечение на хосте, которое знает, что нужно сначала запросить местоположение фактических данных. Следовательно, запрос ввода-вывода от хоста перехватывается до того, как он покинет хост, поиск метаданных запрашивается с сервера метаданных (это может быть через интерфейс, отличный от SAN), который возвращает физическое местоположение данные на хост. Затем информация извлекается посредством фактического запроса ввода-вывода в хранилище. Кэширование невозможно, поскольку данные никогда не проходят через устройство.

Файловая виртуализация

Синоним, используемый для виртуализации NAS.

Эта секция нуждается в расширении with: content для сравнения с остальной частью статьи, посвященной блочная виртуализация. Вы можете помочь добавляя к этому. (Июль 2011 г.)

Смотрите также

• Архив
• Автоматизированное многоуровневое хранилище
• Гипервизор хранилища
• Резервный
• Хранение компьютерных данных
• Распространение данных
• Дисковое хранилище
• Управление жизненным циклом информации
• Информационное хранилище
• Хранение данных на магнитной ленте
• Репозиторий
• Шпиндель

Рекомендации

внешняя ссылка

• Russ Fellows, Evaluator Group (4 октября 2010 г.). «Виртуализация: фундамент трансформации центра обработки данных». ИнфоСтор.