Иерархическое управление хранилищем - Hierarchical storage management

Иерархическое управление хранилищем (HSM) это хранилище данных техника, которая автоматически перемещает данные между дорогими и дешевыми медиа хранилище. Системы HSM существуют потому, что высокоскоростные запоминающие устройства, такие как твердотельный накопитель массивы, дороже (на байт хранится), чем более медленные устройства, такие как жесткие диски, оптические диски и магнитный ленточные накопители. Хотя было бы идеально, если бы все данные всегда были доступны на высокоскоростных устройствах, для многих организаций это непомерно дорого. Вместо этого системы HSM хранят большую часть данных предприятия на более медленных устройствах, а затем при необходимости копируют данные на более быстрые диски. По сути, HSM превращает быстрые диски в тайники для более медленных запоминающих устройств. Система HSM отслеживает способ использования данных и делает наилучшие предположения относительно того, какие данные можно безопасно переместить на более медленные устройства, а какие данные следует оставить на быстрых устройствах.

HSM также может использоваться там, где для долгосрочного архивирования доступно более надежное хранилище, но это медленный доступ. Это может быть так просто, как внешнее резервное копирование, для защиты от возгорания здания.

HSM - это давно устоявшаяся концепция, восходящая к истокам коммерческой обработки данных. Однако используемые методы значительно изменились по мере появления новых технологий как для хранения, так и для передачи больших наборов данных на большие расстояния. Масштаб таких показателей, как «размер» и «время доступа» сильно изменился. Несмотря на это, многие из основных концепций продолжают пользоваться популярностью спустя годы, хотя и в гораздо больших или более быстрых масштабах.[1]

Выполнение

В типичном сценарии HSM[я] файлы данных, которые часто используются, хранятся на дисках, но в конечном итоге мигрировал записать на пленку, если они не используются в течение определенного периода времени, обычно несколько месяцев. Если пользователь повторно использует файл, который находится на ленте, он автоматически перемещается обратно в дисковое хранилище. Преимущество состоит в том, что общий объем хранимых данных может быть намного больше, чем емкость доступного дискового хранилища, но поскольку на ленте находятся только редко используемые файлы, большинство пользователей обычно не замечают замедления.

HSM иногда называют многоуровневое хранилище.[1]

HSM (первоначально DFHSM, теперь DFSMShsm) был первым[нужна цитата ] реализовано IBM на их мэйнфреймы для снижения стоимости хранения данных и упрощения извлечения данных с более медленных носителей. Пользователю не нужно знать, где хранятся данные и как их вернуть; компьютер получит данные автоматически. Единственная разница для пользователя заключалась в скорости возврата данных.

Австралийское подразделение компьютерных исследований CSIRO внедрило HSM в свою операционную систему DAD (барабаны и дисплей) с областью документов в 1960-х годах, при этом копии документов записывались на 7-дорожечную ленту и автоматически извлекались при доступе к документам.

HSM в форме IBM 3850 Mass Storage Facility был (согласно IBM) объявлен в 1974 году.

Позже IBM перенесла HSM на свой Операционная система AIX, а затем к другим Unix-подобный операционные системы, такие как Солярис, HP-UX и Linux.

HSM также был реализован на DEC VAX / VMS системы и системы Alpha / VMS. Дата первого внедрения должна быть легко определена из Руководств по внедрению системы VMS или брошюр с описанием продуктов VMS.

В последнее время разработка Последовательный ATA (SATA) диски создали значительный рынок для трехступенчатого HSM: файлы переносятся из высокопроизводительных Fibre Channel сеть хранения данных устройства несколько медленнее, но намного дешевле SATA дисковые массивы всего несколько терабайты или больше, а затем, в конце концов, с дисков SATA на ленту.

Новейшая разработка HSM с жесткие диски и флэш-память, причем флеш-память более чем в 30 раз быстрее дисков, но диски значительно дешевле.

Концептуально HSM аналогичен тайник найден в большинстве компьютеров Процессоры, где небольшие суммы дорогих SRAM память, работающая на очень высоких скоростях, используется для хранения часто используемых данных, но наименее недавно использованный данные перемещаются в более медленный, но гораздо больший основной DRAM память, когда необходимо загрузить новые данные.

На практике HSM обычно выполняется с помощью специального программного обеспечения, такого как IBM Tivoli Storage Manager, Oracle SAM-QFS, Диспетчер хранилища Versity, Квантовая, Технология динамического хранения Novell (DST) на платформе Open Enterprise Server (OES) Linux, HPE Структура управления данными (DMF, ранее SGI Средство переноса данных), StorNext, или же ЭМС Легато OTG DiskXtender.

Удаление файлов с более высокого уровня иерархии (например, с магнитного диска) после того, как они были перемещены на более низкий уровень (например, оптический носитель), иногда называют обработка файлов.[2]

Сценарии использования

HSM часто используется для глубокого архивного хранения данных с целью долгосрочного хранения и невысокой стоимости. Автоматизированные ленточные роботы могут эффективно хранить большие объемы данных с низким энергопотреблением.

Некоторые программные продукты HSM позволяют пользователю помещать части файлов данных в кэш высокоскоростного диска, а остальные - на ленту. Это используется в приложениях, которые транслируют видео через Интернет - начальная часть видео сразу же доставляется с диска, в то время как робот находит, монтирует и передает остальную часть файла конечному пользователю. Такая система значительно снижает стоимость диска для больших систем предоставления контента.

Алгоритмы

Ключевым фактором HSM является политика миграции данных, которая контролирует передачу файлов в системе. Точнее, политика определяет, на каком уровне должен храниться файл, чтобы вся система хранения могла быть хорошо организована и имела кратчайшее время ответа на запросы. Существует несколько алгоритмов, реализующих этот процесс, например, замена наименее недавно использованных (LRU),[3] Замена размера-температуры (STP), эвристический порог (STEP)[4] и т. д. В исследованиях последних лет также было выявлено несколько интеллектуальных политик с использованием технологий машинного обучения.

Многоуровневое хранилище

Многоуровневое хранилище это хранилище данных среда, состоящая из двух или более типов хранилищ, различающихся по крайней мере одним из этих четырех атрибутов: цена, производительность, емкость и функция.[1]

Любое существенное различие в одном или нескольких из четырех определяющих атрибутов может быть достаточным, чтобы оправдать отдельный уровень хранения.

Примеры:

  • Диск и Лента: два отдельных уровня хранения, идентифицируемых по различиям во всех четырех определяющих атрибутах.
  • Диск старой технологии и диск новой технологии: два отдельных уровня хранения, идентифицируемых по различию в одном или нескольких атрибутах.
  • Высокопроизводительное дисковое хранилище и менее дорогой, более медленный диск той же емкости и функции: два отдельных уровня.
  • Идентичный диск корпоративного класса, настроенный для использования различных функций, таких как RAID уровень или репликация: отдельный уровень хранения для каждого набора уникальных функций.

Примечание. Уровни хранилища нет определяется различиями в поставщиках, архитектуре или геометрии, за исключением случаев, когда эти различия приводят к явным изменениям цены, производительности, емкости и функций.

Реализации

Смотрите также

Рекомендации

  1. ^ Пример из 2000 года, который даже сейчас выглядит устаревшим, поскольку лента теряет популярность.
  1. ^ а б c Ларри Фриман. «Что старое, то снова новое - многоуровневое хранение» (PDF).
  2. ^ Патрик М. Диллон; Дэвид С. Леонард (1998). Мультимедиа и Интернет от А до Я. ABC-CLIO. п. 116. ISBN  978-1-57356-132-7.
  3. ^ О'Нил, Элизабет Дж .; О'Нил, Патрик Э .; Вейкум, Герхард (1993-06-01). «Алгоритм замены страниц LRU-K для буферизации диска базы данных». Запись ACM SIGMOD. 22 (2): 297–306. Дои:10.1145/170036.170081. ISSN  0163-5808.
  4. ^ Verma, A .; Pease, D .; Sharma, U .; Каплан, М .; Rubas, J .; Jain, R .; Девараконда, М .; Бейги, М. (2005). «Архитектура для управления жизненным циклом в очень больших файловых системах». 22-я IEEE / 13-я Конференция Годдарда NASA по системам и технологиям массового хранения (MSST'05). Монтерей, Калифорния, США: IEEE: 160–168. Дои:10.1109 / MSST.2005.4. ISBN  978-0-7695-2318-7.
  5. ^ [SAM / QFS на OpenSolaris.org [1]
  6. ^ Рэнд Моримото; Майкл Ноэль; Омар Друби; Росс Мистри; Крис Амарис (2008). Выпущенный Windows Server 2008. Самс Паблишинг. п. 938. ISBN  978-0-13-271563-8.
  7. ^ http://windowsitpro.com/storage/remote-storage-service