Сравнение распределенных файловых систем - Comparison of distributed file systems

Смотрите также: Сравнение распределенных параллельных отказоустойчивых файловых систем

В вычислениях распределенная файловая система (DFS) или сетевая файловая система - любая файловая система что позволяет получить доступ к файлы с нескольких хостов обмен через компьютерная сеть. Это позволяет нескольким пользователям на нескольких машинах совместно использовать файлы и ресурсы хранения.

Распределенные файловые системы различаются своей производительностью, изменчивостью содержимого, обработкой одновременных операций записи, обработкой постоянной или временной потери узлов или хранилища, а также своей политикой хранения содержимого.

Локально управляемый

FOSS

КлиентНаписано вЛицензияДоступ к APIВысокая доступностьОсколкиЭффективное резервированиеГранулярность избыточностиГод первого выпускаТребования к памяти (ГБ)
Alluxio (виртуальная распределенная файловая система)ЯваЛицензия Apache 2.0HDFS, ПРЕДОХРАНИТЕЛЬ, HTTP /ОТДЫХ, S3горячий резервНетРепликация[1]Файл[2]2013
CephC ++LGPLlibrados (C, C ++, Python, Ruby), S3, Быстрый, ПРЕДОХРАНИТЕЛЬдадаПодключаемые коды стирания[3]Бассейн[4]20101 на ТБ хранилища
CodaCGPLCдадаРепликацияОбъем[5]1987
GlusterFSCGPLv3libglusterfs, ПРЕДОХРАНИТЕЛЬ, NFS, SMB, Swift, libgfapiдадаРид-Соломон[6]Объем[7]2005
MooseFSCGPLv2POSIX, ПРЕДОХРАНИТЕЛЬвладелецНетРепликация[8]Файл[9]2008
Файловая система QuantcastCЛицензия Apache 2.0Клиент C ++, ПРЕДОХРАНИТЕЛЬ (Сервер C ++: MetaServer и ChunkServer находятся на C ++)владелецНетРид-Соломон[10]Файл[11]2012
IPFSИдтиApache 2.0 или MITHTTP-шлюз, ПРЕДОХРАНИТЕЛЬ, Перейти клиент, Клиент Javascript, инструмент командной строкидас Кластер IPFSРепликация[12]Блокировать[13]2015[14]
Кертиш-ДФСИдтиGPLv3HTTP (REST), CLI, клиент C #, клиент GoдаРепликация2020
ЯщерицаC ++GPLv3POSIX, ПРЕДОХРАНИТЕЛЬ, НФС-Ганеша, Ceph FSAL (через libcephfs)владелецНетРид-Соломон[15]Файл[16]2013
БлескCGPLv2POSIX, НФС-Ганеша, NFS, SMBдадаБез избыточности[17]Без избыточности[18]2003
MinIOИдтиЛицензия Apache 2.0AWS S3 APIдадаРид-Соломон[19]Объект[20]2014
OpenAFSCОбщественная лицензия IBMВиртуальная файловая система, Устанавливаемая файловая системаРепликацияОбъем[21]2000 [22]
OpenIO[23]CAGPLv3 / LGPLv3Родные (Python, C, Ява ), HTTP /ОТДЫХ, S3, Быстрый, ПРЕДОХРАНИТЕЛЬ (POSIX, NFS, SMB, FTP )даПодключаемые коды стирания[24]Объект[25]20150.5
RozoFSC, PythonGPLv2ПРЕДОХРАНИТЕЛЬ, SMB, NFS, ключ / значениедаMojette[26]Объем[27]2011[28]
ВодорослиFSGo, JavaЛицензия Apache 2.0HTTP (ОТДЫХ ), POSIX, ПРЕДОХРАНИТЕЛЬ, S3, HDFSреплицируемое файловое хранилищеРид-Соломон[29]Объем[30]2015
Тахо-ЛАФСPythonGNU GPL [31]HTTP (браузер или CLI ), SFTP, FTP, ПРЕДОХРАНИТЕЛЬ через SSHFS, pyfilesystemРид-Соломон[32]Файл[33]2007
HDFSЯваЛицензия Apache 2.0Клиент Java и C, HTTP, FUSE[34]прозрачный главный отказоустойчивыйНетРид-Соломон[35]Файл[36]2005
XtreemFSJava, C ++Лицензия BSDlibxtreemfs (Java, C ++), ПРЕДОХРАНИТЕЛЬРепликация[37]Файл[38]2009
Ори[39]C, C ++Массачусетский технологический институтлибори ПРЕДОХРАНИТЕЛЬРепликацияФайловая система[40]2012

Проприетарный

КлиентНаписано вЛицензияДоступ к API
BeeGFSC / C ++FRAUNHOFER FS (FhGFS) EULA,[41]

Клиент GPLv2

POSIX
ObjectiveFS[42]CПроприетарныйPOSIX, ПРЕДОХРАНИТЕЛЬ
Шкала спектра (GPFS)C, C ++ПроприетарныйPOSIX, NFS, SMB, Быстрый, S3, HDFS
MapR-FSC, C ++ПроприетарныйPOSIX, NFS, ПРЕДОХРАНИТЕЛЬ, S3, HDFS, CLI
PanFSC, C ++ПроприетарныйDirectFlow, POSIX, NFS, SMB / CIFS, HTTP, CLI
Бесконечность[43]C ++Проприетарный (с открытым исходным кодом)[44]ПРЕДОХРАНИТЕЛЬ, Устанавливаемая файловая система, NFS /SMB, POSIX, CLI, SDK (libinfinit)
Isilon OneFSC / C ++ПроприетарныйPOSIX, NFS, SMB / CIFS, HDFS, HTTP, FTP, Объект SWIFT, CLI, Rest API
МасштабностьCПроприетарныйПРЕДОХРАНИТЕЛЬ, NFS, ОТДЫХ, AWS S3
QuobyteJava, C ++ПроприетарныйPOSIX, ПРЕДОХРАНИТЕЛЬ, NFS, SMB / CIFS, HDFS, AWS S3, Плагин TensorFlow, CLI, Rest API

Удаленный доступ

ИмяБежатьДоступ к API
Amazon S3Amazon.comHTTP (ОТДЫХ /МЫЛО )
Облачное хранилище GoogleGoogleHTTP (ОТДЫХ )
SWIFT (часть OpenStack )Rackspace, Hewlett Packard, другиеHTTP (ОТДЫХ )
Microsoft AzureMicrosoftHTTP (ОТДЫХ )
IBM Cloud Object StorageIBM (ранее Cleversafe )[45]HTTP (ОТДЫХ )

Сравнение

Некоторые исследователи провели функциональный и экспериментальный анализ нескольких распределенных файловых систем, включая HDFS, Ceph, Gluster, Lustre и старую (1.6.x) версию MooseFS, хотя этот документ выпущен в 2013 году, и большая часть информации устарела (например, MooseFS имел в то время нет HA для сервера метаданных).[46]

Облачные удаленные распределенные хранилища от основных поставщиков имеют разные API и разные модели согласованности.[47]

Смотрите также

Рекомендации

  1. ^ «Кэширование: управление репликацией данных в Alluxio».
  2. ^ «Кэширование: управление репликацией данных в Alluxio».
  3. ^ «Профили кода стирания».
  4. ^ «Бассейны».
  5. ^ Сатьянараянан, Махадев; Кистлер, Джеймс Дж .; Кумар, Пунит; Окасаки, Мария Э .; Siegel, Ellen H .; Стир, Дэвид С. «Coda: высокодоступная файловая система для среды распределенной рабочей станции» (PDF). Цитировать журнал требует | журнал = (помощь)
  6. ^ «Реализация стирания кодирования».
  7. ^ «Настройка томов GlusterFS».
  8. ^ Доступно только в проприетарной версии 4.x "[функция] стирание-кодирование №8".
  9. ^ "mfsgoal (1)".
  10. ^ "Файловая система Quantcast" (PDF).
  11. ^ "qfs / src / cc / tools / cptoqfs_main.cc".
  12. ^ План кодирования стирания: «Слой Рида-Соломона поверх IPFS # 196»., «Уровень кодирования стирания №6».
  13. ^ "Команды интерфейса командной строки: список желаний ipfs bitswap".
  14. ^ «Зачем Интернету нужна IPFS, пока еще не поздно».
  15. ^ «Настройка режимов репликации».
  16. ^ «Настройка режимов репликации: установка и отображение цели файла / каталога».
  17. ^ "Руководство по эксплуатации Lustre: что такое файловая система Lustre (и чем она не является)". Рид-Соломон в процессе: «LU-10911 FLR2: кодирование стирания».
  18. ^ "Руководство по эксплуатации Lustre: что такое файловая система Lustre (и чем она не является)". План резервирования на уровне файлов: «Архитектура решения для резервирования на уровне файлов».
  19. ^ «Краткое руководство по использованию кода стирания MinIO».
  20. ^ «Краткое руководство по классу хранения MinIO».
  21. ^ «Репликация томов (создание томов только для чтения)».
  22. ^ https://www.openafs.org/release/openafs-1.0.html
  23. ^ «Документация OpenIO SDS». docs.openio.io.
  24. ^ «Стирающее кодирование».
  25. ^ «Объявить политики хранения».
  26. ^ «О RozoFS: Mojette Transform».
  27. ^ «Настройка RozoFS: файл конфигурации Exportd».
  28. ^ «Начальная фиксация».
  29. ^ «Erasure Coding для теплого хранения».
  30. ^ "Репликация".
  31. ^ "О Тахо-ЛАФС".
  32. ^ "zfec - быстрая реализация кодирования стирания Рида-Соломона на языке C".
  33. ^ «Архитектура Tahoe-LAFS: кодирование файлов».
  34. ^ «MountableHDFS».
  35. ^ «Поддержка стирания кодирования HDFS-7285 внутри HDFS».
  36. ^ "Apache Hadoop: setrep".
  37. ^ «Под капотом: репликация файлов».
  38. ^ «Быстрый старт: репликация файла».
  39. ^ «Ори: безопасная распределенная файловая система».
  40. ^ Маштизаде, Али Хосе; Биттау, Андреа; Хуанг, Ифэн Франк; Мазьер, Давид. «Репликация, история и пересадка в файловой системе Ori» (PDF). Цитировать журнал требует | журнал = (помощь)
  41. ^ "ЛИЦЕНЗИОННОЕ СОГЛАШЕНИЕ С КОНЕЧНЫМ ПОЛЬЗОВАТЕЛЕМ FRAUNHOFER FS (FhGFS)". Общество Фраунгофера. 2012-02-22.
  42. ^ «Официальный сайт ObjectiveFS».
  43. ^ «Платформа хранения Infinit».
  44. ^ «Открытые проекты Infinit».
  45. ^ «IBM планирует приобрести Cleversafe для хранения объектов в облаке». www-03.ibm.com. 2015-10-05. Получено 2019-05-06.
  46. ^ Сеген, Кирилл; Депардон, Бенджамин; Ле Махек, Гаэль. «Анализ шести распределенных файловых систем» (PDF). HAL.
  47. ^ «Модели согласованности данных в публичных облачных хранилищах: Amazon S3, Google Cloud Storage и Windows Azure Storage». SysTutorials. Получено 19 июн 2017.