Кластерная файловая система - Clustered file system

Не путать с Кластер данных.
Сюда перенаправляются «Сетевая файловая система» и «Параллельная файловая система». Для протокола Sun NFS см. Сетевая файловая система.

А кластерная файловая система это файловая система который разделяется одновременно установленный на нескольких серверы. Есть несколько подходов к кластеризация, большинство из которых не используют кластерную файловую систему (только хранилище с прямым подключением для каждого узла). Кластерные файловые системы могут предоставлять такие функции, как адресация, независимая от местоположения, и избыточность, которые повышают надежность или снижают сложность других частей кластера. Параллельные файловые системы представляют собой тип кластерной файловой системы, которая распределяет данные по нескольким узлам хранения, обычно для обеспечения избыточности или производительности.[1]

Файловая система с общим диском

А файловая система с общим диском использует сеть хранения данных (SAN), чтобы несколько компьютеров могли получить прямой доступ к диску в уровень блока. Управление доступом и преобразование операций уровня файлов, используемых приложениями, в операции уровня блоков, используемые SAN, должны происходить на клиентском узле. Наиболее распространенный тип кластеризованной файловой системы, файловая система с общим диском - путем добавления механизмов для контроль параллелизма - обеспечивает последовательную и сериализуемый просмотр файловой системы, предотвращение повреждений и непреднамеренных потеря данных даже когда несколько клиентов пытаются получить доступ к одним и тем же файлам одновременно. Файловые системы с общими дисками обычно используют своего рода ограждение механизм для предотвращения повреждения данных в случае сбоев узла, поскольку незащищенное устройство может вызвать повреждение данных, если оно теряет связь со своими родственными узлами и пытается получить доступ к той же информации, к которой обращаются другие узлы.

Базовая сеть хранения данных может использовать любой из ряда протоколов блочного уровня, включая SCSI, iSCSI, HyperSCSI, ATA через Ethernet (AoE), Fibre Channel, сетевое блочное устройство, и InfiniBand.

Существуют разные архитектурные подходы к файловой системе с общим диском. Некоторые распространяют информацию о файлах по всем серверам в кластере (полностью распределены).[2]

Примеры

Распределенные файловые системы

Распределенные файловые системы не разделять доступ на уровне блоков к одному и тому же хранилищу, но использовать сеть протокол.[3][4] Они широко известны как сетевые файловые системы, хотя они не единственные файловые системы, использующие сеть для отправки данных.[5] Распределенные файловые системы могут ограничивать доступ к файловой системе в зависимости от списки доступа или возможности как на серверах, так и на клиентах, в зависимости от того, как разработан протокол.

Разница между распределенной файловой системой и распределенное хранилище данных заключается в том, что распределенная файловая система позволяет осуществлять доступ к файлам с использованием тех же интерфейсов и семантики, что и локальные файлы - например, монтирование / размонтирование, перечисление каталогов, чтение / запись на границах байтов, собственная модель разрешений системы. Распределенные хранилища данных, напротив, требуют использования другого API или библиотеки и имеют другую семантику (чаще всего - базу данных).[6]

Цели дизайна

Распределенные файловые системы могут стремиться к «прозрачности» во многих аспектах. То есть они стремятся быть «невидимыми» для клиентских программ, которые «видят» систему, аналогичную локальной файловой системе. За кулисами распределенная файловая система занимается поиском файлов, переносом данных и, возможно, предоставлением других функций, перечисленных ниже.

  • Прозрачность доступа: клиенты не знают, что файлы распространяются, и могут обращаться к ним так же, как к локальным файлам.
  • Прозрачность местоположения: существует согласованное пространство имен, охватывающее как локальные, так и удаленные файлы. Имя файла не указывает его местонахождение.
  • Прозрачность параллелизма: все клиенты имеют одинаковое представление о состоянии файловой системы. Это означает, что если один процесс изменяет файл, любые другие процессы в той же системе или удаленных системах, которые обращаются к файлам, будут видеть изменения согласованным образом.
  • Прозрачность отказа: клиентская и клиентская программы должны правильно работать после сбоя сервера.
  • Неоднородность: файловая служба должна предоставляться на разных платформах оборудования и операционных систем.
  • Масштабируемость: файловая система должна хорошо работать в небольших средах (1 машина, дюжина машин), а также плавно масштабироваться до более крупных (от сотен до десятков тысяч систем).
  • Прозрачность репликации: Клиенты не должны знать о репликации файлов, выполняемой на нескольких серверах, для поддержки масштабируемости.
  • Прозрачность миграции: файлы должны иметь возможность перемещаться между разными серверами без ведома клиента.

История

В Несовместимая система разделения времени использовали виртуальные устройства для прозрачного межмашинного доступа к файловой системе в 1960-х. В 1970-х годах было разработано больше файловых серверов. В 1976 г. Корпорация цифрового оборудования создал Слушатель доступа к файлам (FAL), реализация Протокол доступа к данным как часть DECnet Фаза II, ставшая первой широко используемой сетевой файловой системой. В 1985 г. Sun Microsystems создал файловую систему под названием "Сетевая файловая система "(NFS), который стал первым широко используемым протокол Интернета на основе сетевой файловой системы.[4] Другие известные сетевые файловые системы: Файловая система Andrew (AFS), Протокол хранения Apple (AFP), Протокол NetWare Core (NCP) и Блок сообщений сервера (SMB), также известный как Common Internet File System (CIFS).

В 1986 г. IBM объявила о поддержке клиентов и серверов для распределенной архитектуры управления данными (DDM) для Система / 36, Система / 38, и мэйнфреймы IBM, работающие CICS. Затем последовала поддержка Персональный компьютер IBM, AS / 400, Мэйнфреймы IBM под MVS и ВСЕ операционные системы и FlexOS. DDM также стал основой для Распределенная архитектура реляционной базы данных, также известный как DRDA.

Есть много пиринговый сетевые протоколы для open-source распределенные файловые системы для облака или кластерные файловые системы с закрытым исходным кодом, e. г.: 9P, AFS, Coda, CIFS / SMB, DCE / DFS, WekaFS, Блеск, PanFS, Файловая система Google, Mnet, Аккордовый проект.

Примеры

Основная статья: Список распределенных файловых систем

Network Attached Storage

Основная статья: Network Attached Storage

Сетевое хранилище (NAS) обеспечивает как хранилище, так и файловую систему, например файловую систему общего диска поверх сети хранения данных (SAN). NAS обычно использует протоколы на основе файлов (в отличие от протоколов на основе блоков, которые использует SAN), например NFS (популярно на UNIX систем), SMB / CIFS (Блок сообщений сервера / Общая файловая система Интернета ) (используется с системами MS Windows), AFP (используется с Apple Macintosh компьютеров) или NCP (используется с OES и Novell NetWare ).

Соображения по дизайну

Как избежать единой точки отказа

Отказ дискового оборудования или данного узла хранения в кластере может создать единая точка отказа что может привести к потеря данных или недоступность. Отказоустойчивость и высокая доступность может быть обеспечена через репликация данных того или иного типа, чтобы данные оставались нетронутыми и доступными, несмотря на отказ любого отдельного элемента оборудования. Примеры см. В списках распределенные отказоустойчивые файловые системы и распределенные параллельные отказоустойчивые файловые системы.

Спектакль

Обычный спектакль измерение кластерной файловой системы - это время, необходимое для удовлетворения запросов на обслуживание. В обычных системах это время состоит из времени доступа к диску и небольшого количества ЦПУ -время обработки. Но в кластерной файловой системе удаленный доступ имеет дополнительные накладные расходы из-за распределенной структуры. Это включает время доставки запроса на сервер, время доставки ответа клиенту и для каждого направления накладные расходы ЦП на выполнение протокол связи программного обеспечения.

Параллелизм

Контроль параллелизма становится проблемой, когда несколько человек или клиентов обращаются к одному и тому же файлу или блоку и хотят его обновить. Следовательно, обновления файла от одного клиента не должны мешать доступу и обновлениям от других клиентов. Эта проблема более сложна с файловыми системами из-за одновременной записи с перекрытием, когда разные средства записи одновременно записывают в перекрывающиеся области файла.[7] Этой проблемой обычно занимается контроль параллелизма или запирание который может быть встроен в файловую систему или предоставлен дополнительным протоколом.

История

Мэйнфреймы IBM в 1970-х могли совместно использовать физические диски и файловые системы, если бы каждая машина имела собственное соединение канала с блоками управления накопителями. В 1980-х годах Корпорация цифрового оборудования с ТОП-20 и OpenVMS кластеры (VAX / ALPHA / IA64) включали файловые системы совместно используемых дисков.[8]

Смотрите также

использованная литература

  1. ^ Сайфи, Амина; Кочхар, Гарима; Се, Дженвэй; Челебиоглу, Онур (май 2005 г.). «Улучшение высокопроизводительных вычислительных кластеров с помощью параллельных файловых систем» (PDF). Решения Dell Power. Dell Inc. Получено 6 марта 2019.
  2. ^ Мокадем, Риад; Литвин, Витольд; Шварц, Томас (2006). «Резервное копирование диска с помощью алгебраических подписей в масштабируемых распределенных структурах данных» (PDF). DEXA 2006 Springer. Получено 8 июн 2006.
  3. ^ Зильбершац, Авраам; Гэлвин, Питер; Ганье, Грег (2009). «Основные понятия операционной системы, 8-е издание» (PDF). Вавилонский университет. John Wiley & Sons, Inc., стр. 705–725.. Получено 4 марта 2019.
  4. ^ а б Arpaci-Dusseau, Remzi H .; Арпачи-Дюссо, Андреа К. (2014), Сетевая файловая система Sun (PDF), Книги Арпачи-Дюссо
  5. ^ Сандберг, Рассел (1986). «Сетевая файловая система Sun: дизайн, реализация и опыт» (PDF). Материалы технической конференции и выставки USENIX летом 1986 г.. Sun Microsystems, Inc. Получено 6 марта 2019. NFS был разработан для упрощения совместного использования ресурсов файловой системы в сети неоднородных машин.
  6. ^ Собх, Тарек (2008). Достижения в области компьютерных и информационных наук и инженерии. Springer Science & Business Media. С. 423–440.
  7. ^ Песач, Янив (2013). Распределенное хранилище: концепции, алгоритмы и реализации. ISBN  978-1482561043.
  8. ^ Мерфи, Дэн (1996). «Истоки и развитие ТОПС-20». Дэн Мерфи. Амбициозные планы на Юпитер. Получено 6 марта 2019. В конечном итоге и VMS, и TOPS-20 предоставляли такую ​​возможность.

дальнейшее чтение