MagmaFS - MagmaFS

Сетевая файловая система Magma

Разработчики)	Tx0
Написано в	C
Операционная система	Ядра Linux и BSD
Доступно в	английский
Тип	Распределенная файловая система
Лицензия	GNU GPL
Интернет сайт	www.magmafs.сеть

Магма это распределенная файловая система на основе распределенная хеш-таблица, написано в C, совместим с Linux и BSD ядра, использующие ПРЕДОХРАНИТЕЛЬ.

Терминология и основные принципы

Магма связывает несколько хозяев, связанных между собой TCP / IP сеть, чтобы сформировать общее хранилище, называемое кольцо лавы. Каждый хост (или узел) называется вулкан. В каждом вулкане есть часть общего ключевого пространства, разделенного двумя SHA1 ключи. Каждый вулкан также отвечает за зеркальное отображение ключевого пространства предыдущего узла, чтобы гарантировать избыточность данных. Каждый ключ может представлять один или несколько объектов внутри хранилища. Эти объекты называются вспышки.

Magma может хранить различный диапазон объектов: файлы, каталоги, символические ссылки, блочные и символьные устройства, каналы FIFO. Каждый объект привязан к вспышке и наоборот. Вспышка любого типа из шести перечисленных выше описывается некоторыми основными свойствами, общими для всех вспышек, такими как путь и хеш-ключ. Но каждый из шести типов имеет также свои специфические свойства. Например, расширение каталогов будет содержать некоторую конкретную информацию, не относящуюся к символическим ссылкам. Вспышка, содержащая только общую информацию, называется некастрированный а полная вспышка называется бросать.

Нерастутый факел не содержит достаточно информации для работы с данными, но имеет достаточно информации, которую можно перемещать как своего рода непрозрачный контейнер между узлами вулкана. Для удобства перемещения каждый тип бликов, включая каталоги, был переопределен как набор из двух файлов, первый из которых содержит информацию о бликах (метаданные), а второй - содержимое бликов. Движение вспышек по кольцу лавы называется балансировки нагрузки и делается для использования неравенства нагрузки между узлами в попытке обеспечить лучшую производительность.

Факельная система

Внутренний двигатель Магмы называется факельная система и реализован в виде многоуровневого стека.

	Слои факельной системы
1.	Публичный API: flare_system_init (), magma_open (), magma_mknod (), magma_lstat (), ...
2.	Сеть лавы: magma_new_node (), route_key (), join_network ()
3.	Вспышки: magma_new_flare (), magma_search_or_create (), magma_add_to_cache (), ...

magma_mkdir () можно использовать как пример обхода слоя. В этом абзаце предполагается, что каталог с именем /пример будет создан. magma_mkdir () является частью Публичный API слой. Он используется для создания нового каталога, как это делается стандартным Libc аналог mkdir ().

magma_mkdir () сначала направляет запрос, чтобы решить, можно ли им управлять локально или потребуются сетевые операции. Для выполнения маршрутизации путь /пример переводится в соответствующий хеш-ключ SHA1 81f762fd59d88768b06b8e9de56aef8a95962045. Если маршрутизация определяет необходимость контакта с другим узлом вулкана, запрос не покинет этот слой. Сетевой уровень Lava пересылает запрос на узел, владеющий ключом, продолжая поток операций на удаленном узле. Маршрутизация - это половина роли Сеть лавы слой, который также включает мониторинг сети и создание, обновление и удаление узлов вулкана.

Как локальный, так и удаленный запрос, последний шаг выполняется Слой бликов. Вспышка, соответствующая ключу 81f762fd59d88768b06b8e9de56aef8a95962045 будет производиться поиск внутри кеша. Если не найден, он будет создан и загружен с диска, если он уже существует. К полученному объекту вспышки сначала применяются тесты проверки разрешений. Если разрешение на работу предоставлено, первоначальный запрос выполняется: в этом примере flare переводится в каталог, если его еще не было, и сохраняется на диск.

Маршрутизация

Поскольку каждый узел вулкана имеет доступную полную топологию сети, маршрутизация - это просто вопрос сопоставления ключей вспышки с пространством ключей узлов и поиска узла, удерживающего вспышку. Топология сети также сохраняется в распределенном каталоге. /.dht/ внутри файловой системы magma. Узлы Vulcano могут периодически проверять свою информацию на соответствие содержимому /.dht/ каталог, чтобы узнать, изменилось ли что-нибудь. Узлы также периодически сохраняют свою информацию внутри /.dht/ каталог.

Балансировки нагрузки

Каждый узел вулкана имеет некоторые параметры, объявленные при загрузке, такие как пропускная способность и доступное хранилище. Отдельный нить называется балансир предназначен для распределения ключей, чтобы избежать перегрузки или недогрузки узлов. С каждым узлом связано значение динамической нагрузки, которое вычисляется по формуле:

${displaystyle l_ {n} = kl_ {n} cdot {frac {b_ {n}} {b_ {a}}} cdot {frac {s_ {n}} {s_ {a}}}}$

где ${displaystyle kl_ {n}}$ - нагрузка на ключ узла, рассчитанная в логарифмическом масштабе; ${displaystyle b_ {n}}$ пропускная способность узла и ${displaystyle b_ {a}}$ средняя пропускная способность; ${displaystyle s_ {n}}$ это хранилище узлов и ${displaystyle s_ {a}}$ среднее хранилище

Распространение программного обеспечения Magma

Магма распространяется в виде сервера под названием магмад и клиент позвонил mount.magma.

Сервер магмы

Сервер магмы магмад управляет взаимодействием между узлами DHT и клиентами magma. Система Flare обеспечивает петлю сетевых событий, которая принимает входящие соединения. Принимаются три вида связи.

• Соединение по протоколу вспышки используется для работы с вспышками: открытие файлов и директорий, чтение и запись, получение информации и обмен вспышками во время операций балансировки. Протокол Flare - это бинарный протокол.
• Соединение по протоколу междоузлия используется для обмена информацией DHT и для присоединения к новым узлам. Протокол междоузлий - это бинарный протокол.
• Соединение по протоколу консоли используется, чтобы позволить администраторам запрашивать сеть Java, выполнять простые операции, такие как перечисление содержимого каталога и отображение содержимого файла, и, наконец, выдавать некоторые административные команды для узлов (пример административной команды: выключение). Консольный протокол - это текстовый протокол, доступный через Telnet.

Клиент Magma

Клиент Magma магма. гора основывается на ПРЕДОХРАНИТЕЛЬ, будучи совместимым с ядрами Linux и BSD. Клиент Magma использует соединение протокола flare для связи и работы с ближайшим сервером Magma. Топология сети и расположение факелов полностью прозрачны для клиентов. Клиент просто запрашивает один сервер точно так же, как вся информация находится только на этом хосте.

Для клиента Magma запланирован криптографический слой, позволяющий шифрование только содержимого файлов. Внедрение криптографии на стороне клиента связано с масштабируемостью (вычислительная мощность будет увеличиваться при той же скорости вычислительного запроса) и секретностью криптографического ключа (ключи или парольные фразы никогда не достигнут сервера).

Альтернативный интерфейс NFS

В качестве альтернативы клиенту Magma, который поддерживается только ядрами Linux и BSD, сервер Magma планирует предложить NFS интерфейс для других Unix. Поскольку NFS является установленным стандартом, добавлять новые функции нельзя. Например, криптографический уровень будет недоступен для клиента, монтирующего общие ресурсы Magma через NFS.

внешние ссылки

• [1] - Домашний сайт MagmaFS.