Parchive - Parchive

Parchive
Расширение имени файла
.par, .par2, .p ??, (.par3 в будущем)
Тип форматаКод стирания

Parchive (а чемодан из архив четности, и формально известный как Спецификация набора томов четности[1][2]) является код стирания система, которая производит номинал файлы для контрольная сумма проверка целостность данных, с возможностью выполнять восстановление данных операции, которые могут восстановить или восстановить поврежденные или отсутствующие данные.

Первоначально Parchive был написан для решения проблемы надежного обмена файлами на Usenet,[3] но сейчас он обычно используется для защиты любых данных от повреждение данных, дисковая гниль, немного гнить, а также случайное или умышленное повреждение. Несмотря на название, Parchive использует более продвинутые методы, которые не используют упрощенные паритет методы обнаружение и исправление ошибок.

По состоянию на 2014 г. PAR1 устарело, PAR2 созрел для широкого использования, и PAR3 - экспериментальная версия, разрабатываемая автором MultiPar Ютакой Савадой.[4][5][6][7] Исходный проект SourceForge Parchive неактивен с 30 апреля 2015 года.[8]

История

Parchive был предназначен для повышения надежности передачи файлов через Usenet. группы новостей. Usenet изначально был разработан для неформального общения, и основной протокол, NNTP не предназначен для передачи произвольных двоичных данных. Еще одно ограничение, которое было приемлемо для разговоров, но не для файлов, заключалось в том, что сообщения обычно были довольно короткими по длине и ограничивались 7-битными. ASCII текст.[9]

Для отправки файлов через Usenet были разработаны различные методы, такие как uuencoding и Base64. Позже программное обеспечение Usenet позволяло использовать 8 бит Расширенный ASCII, что позволило использовать новые методы, такие как yEnc. Большие файлы были разбиты, чтобы уменьшить влияние поврежденной загрузки, но ненадежный характер Usenet остался.

С появлением Parchive можно было создавать файлы четности, которые затем выгружались вместе с исходными файлами данных. Если какой-либо из файлов данных был поврежден или утерян во время распространения между серверами Usenet, пользователи могли загрузить файлы четности и использовать их для восстановления поврежденных или отсутствующих файлов. Parchive включал создание небольших индексных файлов (* .par в версии 1 и * .par2 в версии 2), которые не содержат никаких данных для восстановления. Эти индексы содержат файловые хэши которые можно использовать для быстрой идентификации целевых файлов и проверки их целостности.

Поскольку индексные файлы были такими маленькими, они минимизировали объем дополнительных данных, которые необходимо было загрузить из Usenet, чтобы убедиться, что все файлы данных присутствуют и не повреждены, или для определения того, сколько томов с четностью потребовалось для устранения любых повреждений или восстановления каких-либо отсутствующие файлы. Они были наиболее полезны в версии 1, где объемы четности были намного больше, чем файлы коротких индексов. Эти большие тома с четностью содержат фактические данные для восстановления вместе с дублирующей копией информации в индексных файлах (что позволяет использовать их самостоятельно для проверки целостности файлов данных, если нет доступного небольшого индексного файла).

В июле 2001 года Тобиас Рипер и Стефан Велюс предложили спецификацию Parity Volume Set, и с помощью других участников проекта версия 1.0 спецификации была опубликована в октябре 2001 года.[10] Par1 используется Исправление ошибок Рида – Соломона для создания новых файлов восстановления. Любой из файлов восстановления можно использовать для восстановления недостающего файла из неполного скачать.

Версия 1 стала широко использоваться в Usenet, но имела некоторые ограничения:

  • Было ограничено обрабатывать не более 255 файлов.
  • Файлы восстановления должны были быть размером с самый большой входной файл, поэтому он не работал должным образом, когда входные файлы были разных размеров. (Это ограничивало его полезность, когда он не использовался в паре с проприетарным инструментом сжатия RAR.)
  • В алгоритме восстановления была ошибка из-за недостатка[11] в академической статье[12] на котором он был основан.
  • Он был сильно привязан к Usenet, и казалось, что более общий инструмент может иметь более широкую аудиторию.

В январе 2002 года Говард Фукада предложил разработать новую спецификацию Par2 со значительными изменениями, согласно которым проверка и восстановление данных должны работать с блоками данных, а не с целыми файлами, и что алгоритм должен переключиться на использование 16-битных чисел, а не 8 битовые числа, используемые PAR1. Майкл Нахас и Питер Клементс подхватили эти идеи в июле 2002 года при дополнительном вкладе Пола Неттла и Райана Галлахера (которые оба написали клиентов Par1). Версия 2.0 спецификации Parchive была опубликована Майклом Нахасом в сентябре 2002 года.[13]

Затем Питер Клементс написал первые две реализации Par2, QuickPar и par2cmdline. Заброшенный с 2004 года, Пол Хоул создал phpar2, чтобы заменить par2cmdline. Ютака Савада создал MultiPar, чтобы заменить QuickPar. Multipar использует par2j.exe (который частично основан на методах оптимизации par2cmdline) для использования в качестве внутреннего механизма MultiPar.

Версии

Версии 1 и 2 формат файла несовместимы. (Однако многие клиенты поддерживают оба варианта.)

Par1

Для Par1 файлы f1, f2, ..., fn, архив состоит из индексного файла (f.par), который представляет собой файл типа CRC без блоков восстановления, и ряд «томов четности» (f.p01, f.p02, так далее.). Учитывая все исходные файлы, кроме одного (например, f2) можно создать недостающий f2 учитывая все остальные исходные файлы и любой из томов четности. В качестве альтернативы можно воссоздать два отсутствующих файла из любых двух томов с четностью и так далее.[14]

Par1 поддерживает до 256 исходных файлов и файлов восстановления.

Par2

Файлы Par2 обычно используют эту систему именования / расширения: имя_файла.vol000 + 01.PAR2, filename.vol001 + 02.PAR2, filename.vol003 + 04.PAR2, filename.vol007 + 06.PAR2и т. д. +01, +02 и т. д. в имени файла указывает, сколько блоков он содержит, а vol000, vol001, vol003 и т. д. указывает номер первого блока восстановления в файле PAR2. Если в индексном файле загрузки указано, что отсутствуют 4 блока, самый простой способ восстановить файлы - загрузить имя_файла.vol003 + 04.PAR2. Однако из-за избыточности filename.vol007 + 06.PAR2 тоже приемлемо. Также есть индексный файл filename.PAR2, он идентичен по функциям маленькому индексному файлу, используемому в PAR1.

Спецификация Par2 поддерживает до 32768 исходных блоков и до 65535 блоков восстановления. Входные файлы разбиты на несколько блоков одинакового размера, поэтому файлы восстановления не обязательно должны быть размером с самый большой входной файл.

Несмотря на то что Unicode упоминается в спецификации PAR2 как опция, большинство реализаций PAR2 не поддерживают Unicode.

Поддержка каталогов включена в спецификацию PAR2, но большинство или все реализации ее не поддерживают.

Par3

Первоначально планировалось опубликовать спецификацию Par3 как расширение по сравнению со спецификацией Par2. Однако на сегодняшний день[когда? ] владелец спецификации Ютака Савада оставался закрытым исходным кодом.

Программного обеспечения

Мультиплатформенность

  • par2 + tbb (GPLv2 ) - параллельная (многопоточная) версия par2cmdline 0.4, использующая TBB. Совместимо только с x86 на базе процессоров. Он доступен в Порты FreeBSD система как par2cmdline-tbb.
  • Оригинальный par2cmdline - (устаревший). Доступно в Порты FreeBSD система как par2cmdline.
  • par2cmdline поддерживаемый форк BlackIkeEagle.
  • par2cmdline-mt это еще одна многопоточная версия par2cmdline, использующая OpenMP, GPLv2, или позже. В настоящее время объединен с форком BlackIkeEagle и поддерживается там.
  • ParPar (CC0 ) - это высокопроизводительный многопоточный клиент PAR2, Node.js библиотека. Не поддерживает проверку или восстановление, в настоящее время может создавать только архивы PAR2.
  • par2deep (LGPL-3.0 ) - Создавать, проверять и восстанавливать файлы par2 рекурсивно, как в командной строке, так и с помощью графического пользовательского интерфейса. Он доступен в Индекс пакета Python система как par2deep.

Windows

  • MultiPar (бесплатное) - основывается на функциях QuickPar и GUI и использует par2j.exe Ютаки Савады в качестве серверной части PAR2. MultiPar поддерживает несколько языков Unicode. Название MultiPar произошло от «многоязычного клиента PAR». MultiPar также проверен для работы с Вино под TrueOS и Ubuntu, а также может работать с другими операционными системами.[15][16] Хотя компоненты Par2 являются (или будут) с открытым исходным кодом, графический интерфейс MultiPar поверх них в настоящее время не является открытым исходным кодом.[17]
  • QuickPar (бесплатное ПО) - не поддерживается с 2004 года, заменено MultiPar.
  • phpar2 - расширенный par2cmdline с многопоточностью и оптимизированным ассемблерным кодом (примерно на 66% быстрее, чем QuickPar 0.9.1)
  • Зеркало - Первая реализация PAR, не поддерживается с 2001 года.

Mac OS X

POSIX

Программное обеспечение для POSIX соответствующие операционные системы:

Смотрите также

Рекомендации

  1. ^ Re: Исправление к архиву в Википедии,[мертвая ссылка ] ответ № 3, Ютака Савада: «Их официальное название -« Спецификация набора томов с четностью 1.0 »и« Спецификация набора объемов с четностью 2.0 ».
  2. ^ Re: Исправление к архиву в Википедии, ответ № 3, Ютака Савада: «Их формальное название -« Спецификация набора томов с четностью 1.0 »и« Спецификация набора томов с четностью 2.0 ».
  3. ^ "Parchive: Parity Archive Volume Set". Получено 2009-10-29. Первоначальная идея, лежащая в основе этого проекта, заключалась в том, чтобы предоставить инструмент для применения концепций возможностей восстановления данных в RAID-подобных системах для публикации и восстановления составных архивов в Usenet.
  4. ^ возможность нового файла PAR3[мертвая ссылка ]
  5. ^ Вопрос об использовании вами PAR3[мертвая ссылка ]
  6. ^ Риск необнаружимой преднамеренной модификации[мертвая ссылка ]
  7. ^ Предложение спецификации PAR3 не завершено по состоянию на апрель 2011 г.[мертвая ссылка ]
  8. ^ «Parchive: Parity Archive Tool». Получено 2020-05-20.
  9. ^ Кантор, Брайан; Лэпсли, Фил (Февраль 1986 г.). «Коды персонажей». Протокол передачи сетевых новостей. IETF. п. 5. сек. 2.2. Дои:10.17487 / RFC0977. RFC 977. Получено 2009-10-29.
  10. ^ Нахас, Майкл (2001-10-14). "Спецификация набора томов четности v1.0". Получено 2017-06-19.
  11. ^ Планк, Джеймс С .; Дин, Инь (апрель 2003 г.). «Примечание: исправление к Руководству 1997 года по кодированию Рида-Соломона». Получено 2009-10-29.
  12. ^ Планк, Джеймс С. (сентябрь 1997 г.). "Учебное пособие по кодированию Рида-Соломона для обеспечения отказоустойчивости в RAID-подобных системах". Получено 2009-10-29.
  13. ^ Нахас, Майкл; Клементс, Питер; Крапива, Пол; Галлахер, Райан (11 мая 2003 г.). "Спецификация набора томов четности 2.0". Получено 2009-10-29.
  14. ^ Ван, Уоллес (2004-10-25). «Поиск фильмов (или телешоу): восстановление отсутствующих файлов RAR с помощью файлов PAR и PAR2». Украсть эту книгу для обмена файлами (1-е изд.). Сан - Франциско, Калифорния: Пресс без крахмала. стр.164–167. ISBN  978-1-59327-050-6. Получено 2009-09-24.
  15. ^ MultiPar работает с PCBSD 9.0[мертвая ссылка ]
  16. ^ Работа над Ubuntu 18.04 через вино[мертвая ссылка ]
  17. ^ связался с вами, спросил об исходном коде[мертвая ссылка ]

внешняя ссылка