Последовательность файлов - File sequence

В вычисление, а также в контекстах, не связанных с вычислениями, последовательность файлов это хорошо организованный, (конечный) набор файлы, обычно как-то связаны друг с другом.

В вычислениях файловые последовательности в идеале должны подчиняться некоторым местонахождение ссылки принципу, так что не только все файлы, принадлежащие одной и той же последовательности, должны иметь локальные ссылки друг на друга, но они также подчиняются этому, поскольку их близость по отношению к отношение заказа. Явный Последовательности файлов - это, по сути, последовательности, имена файлов которых заканчиваются числовым или буквенно-цифровым тегом в конце (исключая расширение файла ).

Вышеупомянутое место ссылки обычно относится либо к данным, либо к метаданным (например, их именам файлов или даты последнего доступа ), или физическая близость носителя информации, на котором они находятся. В последнем случае лучше говорить о смежность файлов (Смотри ниже).

Идентификация

Каждый GUI программа показывает содержимое папки обычно упорядочивая файлы в соответствии с некоторыми критериями, в основном связанными с файлами метаданные, например, имя файла. По умолчанию критерием является алфавитно-цифровой порядок имен файлов, хотя некоторые операционные системы делают это «умнее», чем другие: например, file1.ext в идеале должно быть помещено перед file10.ext, подобно Файлы GNOME и Тунар do, тогда как буквенно-цифровое значение следует после (подробнее об этом позже). Существуют и другие критерии, такие как упорядочение файлов по их тип файла (или по их расширению) и, если они того же типа, либо по имени файла, либо по дате последнего доступа, и так далее.

По этой причине, когда последовательность файлов имеет более сильное местоположение ссылки, особенно когда это связано с их фактическим содержимым, лучше выделить этот факт, позволив их хороший порядок вызвать алфавитно-цифровой порядок имен файлов. Это случай явный файловые последовательности.

Явные последовательности файлов

Явные последовательности файлов имеют одно и то же имя файла (включая расширения файлов для подтверждения местонахождения ссылки на их содержимое), за исключением последней части (исключая расширение), которая представляет собой последовательность числовых, буквенно-цифровых или чисто алфавитных символов для принудительного упорядочивания; такие последовательности также должны быть идеально расположены в одном каталоге.

В этом смысле любые файлы с одним и тем же именем файла (и, возможно, расширением), отличающиеся только порядковым номером в конце имени файла, автоматически принадлежат к одной и той же последовательности файлов, по крайней мере, если они находятся в одной папке. часть многих соглашений об именах, которые индексируются последовательностями файлов (в любом база чисел ), содержащий столько файлов, сколько может содержать фиксированное количество цифр, используйте "конечные нули "в их именах файлов так, чтобы:

  • все файлы в последовательности имеют одинаковое количество символов в полных именах файлов;
  • неумный буквенно-цифровой порядок, как в операционных системах GUI, не переставляйте их ошибочно в последовательности.

Чтобы лучше объяснить последний пункт, учтите, что, строго говоря, file1.ext (1-й файл в последовательности) буквенно-цифровой после file100.ext, что на самом деле является сотым. Переименовав первый файл в file001.ext с двумя конечными нулями проблема решается универсально.

Примеры явных файловых последовательностей включают: file00000.ext, file00001.ext, file00002.ext, , file02979.ext (пять завершающих нулей) и еще один с шестнадцатеричный заказ 256 файлов tag_00.ext, tag_01.ext, , tag_09.ext, tag_0A.ext, ..., tag_0F.ext, tag_10.ext, ..., tag_0F.ext, ..., tag_FF.ext (с одним нулем в конце).

Соглашения о программном обеспечении и программировании обычно представляют последовательность файлов как единый виртуальный файловый объект, имя которого подробно написано в C -подобная форматированная строка для обозначения места расположения порядкового номера в имени файла и его форматирования. Для двух приведенных выше примеров это будет имя файла% 05d.ext и tag_% 02H.extсоответственно, тогда как для первого - то же соглашение без конечные нули было бы имя файла% 5d.extОбратите внимание, однако, что такое обозначение обычно недействительно в операционной системе и Интерфейс командной строки уровней, потому что '%'символ не является действительным регулярное выражение ни универсальный законный символ имени файла: это обозначение просто заполнитель для виртуального файла, представляющего всю явную файловую последовательность.

Известные программные пакеты, признающие явные последовательности файлов как отдельные объекты файловой системы, что довольно типично для индустрии постпроизводства аудио / видео (см. Ниже), можно найти среди продуктов компании Autodesk, Quantel, Да Винчи, DVS, а также Adobe After Effects.

Разброс файлов

Последовательность файлов, расположенная в массовое хранилище устройство называется смежный если:

  • каждый файл в последовательности не фрагментирован, то есть каждый файл хранится в одном непрерывном и упорядоченном участке памяти (в идеале в одном или нескольких, но смежных, экстенты );
  • последовательные файлы в последовательности занимают непрерывные части дискового пространства (экстенты, но в соответствии с их порядком файлов).

Непрерывность файлов - более практическое требование для файловых последовательностей, чем просто их местонахождение ссылки, потому что это связано с носителем данных, на котором размещена вся последовательность, чем с самой последовательностью (или ее метаданные ). В то же время это функция «высокого уровня», поскольку она не связана с физическими и техническими деталями самого запоминающего устройства: в частности, непрерывность файлов реализуется по-разному в зависимости от архитектуры устройства хранения и фактических файловая система структура. На «низком уровне» каждый файл в непрерывной последовательности должен быть помещен в смежные блоки, несмотря на зарезервированные области или специальные метаданные, требуемые файловой системой (например, inodes или межсекторные заголовки), фактически чередуя их.

Непрерывность файлов в большинстве практических приложений «невидима» на уровне операционной системы или пользователя, поскольку все файлы в последовательности всегда доступны приложениям одинаково, независимо от их физического расположения на устройстве хранения (из-за работы системы, скрывающие внутреннее устройство файловой системы для служб более высокого уровня). В самом деле, смежность файлов может быть связана с производительностью ввода-вывода, когда последовательность должна быть прочитана или записана в кратчайшие сроки. запись оптических дисков - также ср. ниже), данные в файловой последовательности должны быть доступны в том же порядке, что и сама файловая последовательность; в других контекстах может потребоваться «произвольный» доступ к последовательности. В обоих случаях большинство профессиональных файловых систем обеспечивают более быстрый доступ к непрерывным файлам, чем к несмежным. Данные предварительное выделение имеет решающее значение для доступа для записи, тогда как скорость пакетного чтения достижима только для непрерывных данных.

Когда последовательность файлов не является непрерывной, она называется разбросанный, поскольку его файлы хранятся в редких местах на устройстве хранения. Разброс файлов это процесс выделения (или перераспределения) файловой последовательности как непрерывной (или становящейся). Это часто связано с фрагментация файлов тоже, где каждый файл также хранится в нескольких несмежных блоках; механизмы, способствующие первому, обычно являются общей причиной и для второго. Акт уменьшения разброса файлов посредством размещения (в первую очередь) или перемещения (для уже сохраненных данных) файлов в одной и той же последовательности рядом друг с другом на носителе данных называется (файл) файл дерассеяние.Немного дефрагментация Стратегии и специальное программное обеспечение могут как дефрагментировать отдельные файлы, так и расшифровывать последовательности файлов.

Последовательности мультимедийных файлов

Есть много контекстов, в которых явные последовательности файлов особенно важны: инкрементные резервные копии, периодические журналы и мультимедийные файлы, захваченные или созданные с хронологическим местонахождение ссылки. В последнем случае явная нумерация файлов чрезвычайно важна для того, чтобы предоставить как программному обеспечению, так и конечным пользователям способ распознавать последовательность содержимого, хранящегося в них. Например, цифровые камеры и аналогичные устройства сохраняют все файлы изображений в одной папке (до тех пор, пока она не достигнет максимального количества файлов или не произойдет новое событие, такое как наступление полуночи или переключение устройств) с окончательной числовой последовательностью: Было бы очень непрактично выбирать имя файла для каждого снятого кадра в самое время съемки, поэтому микропрограмма / программное обеспечение камеры выбирает тот, который идеально идентифицируется по его порядковому номеру. С помощью других метаданные (и, как правило, специализированного программного обеспечения для ПК), пользователи могут позже распознавать мультимедийное содержимое и при необходимости реорганизовывать его.

Пример Digital Intermediate

Типичный пример, когда явная последовательность файлов, а также их смежность становятся решающими, - это цифровой промежуточный (DI) рабочий процесс для кино- и видеоиндустрии. В таких контекстах видеоданные должны поддерживать высочайшее качество и быть готовыми к визуализации (обычно в реальном времени, если не лучше). Обычно видеоданные получают либо с цифровой видеокамеры, либо с кинофильм сканер и хранятся в последовательностях файлов (как это делает обычный фотоаппарат) и должны быть обработаны в несколько этапов, включая, по крайней мере, редактирование, согласование и цветокоррекцию. Это требует:

  • Несжатые данные, потому что любые сжатие с потерями, что является обычным явлением для большинства готовых продуктов, приводит к неприемлемым потерям качества.
  • Несжатые данные (снова), потому что время декомпрессии может снизить производительность воспроизведения / визуализации аппаратным и программным обеспечением.
  • Покадровое управление данными в файле, поскольку обычные операции постпроизводства подразумевают самое короткое время поиска за всю историю; «быстрая перемотка вперед» или «перемотка назад» к определенному (ключевому) кадру выполняется намного быстрее, если выполняется в файловая система уровень, а не в пределах огромного, возможно фрагментированный видео файл; каждый кадр затем сохраняется в одном файле как неподвижное цифровое изображение.
  • Однозначный порядок кадров, по понятным причинам, который лучше всего достигается группировкой всех файлов вместе с явной нумерацией файлов.
  • Непрерывность файлов, потому что многие архитектуры файловых систем используют более высокие скорости ввода-вывода при передаче данных в смежные области хранилища, тогда как случайное распределение может помешать работе в реальном времени или улучшить производительность загрузки.

Считайте, что один кадр в DI размер проекта в настоящее время составляет от 9 МБ до 48 МБ (в зависимости от разрешающая способность и глубина цвета ), а видео Частота обновления обычно 24 или 25 кадров в секунду (если не быстрее); любое хранилище, необходимое для воспроизведения такого контента в реальном времени, требует минимального общего пропускная способность от 220 МБ / с до 1,2 ГБ / с соответственно. С этими числами все вышеперечисленные требования (в частности, непрерывность файлов с учетом современных характеристик хранилища) становятся строго обязательными.

внешняя ссылка

  • PySeq PySeq - это модуль Python с открытым исходным кодом, который находит группы элементов, которые следуют соглашению об именах, содержащему индекс числовой последовательности (например, fileA.001.png, fileA.002.png, fileA.003.png ...), и сериализует их в сжатая строка последовательности, представляющая всю последовательность (например, fileA.1-3.png).
  • checkfileseq checkfileseq - скрипт Python с открытым исходным кодом (можно использовать через CLI ), который рекурсивно сканирует структуру каталогов на наличие файлов, отсутствующих в последовательности файлов, и по завершении распечатывает отчет. Он поддерживает широкий спектр шаблонов имен файлов и может быть настроен для получения дополнительной логики шаблонов.