Dd (Unix) - Dd (Unix)

дд
Оригинальный автор (ы)Кен Томпсон
Разработчики)AT&T Bell Laboratories
изначальный выпускИюнь 1974 г.; 46 лет назад (1974-06)
Репозиториймерзавец.savannah.gnu.org/ git/ coreutils.git
Операционная системаUnix, Unix-подобный, План 9, Inferno
ТипКоманда
Лицензияcoreutils: GPLv3 +

дд это командная строка полезность для Unix и Unix-подобный операционные системы, основная цель которого - конвертировать и копировать файлы.[1]

В Unix драйверы устройств для оборудования (например, жесткие диски ) и специальные файлы устройства (Такие как / dev / ноль и / dev / случайный ) появляются в файловой системе как обычные файлы; дд могут также читать и / или записывать из / в эти файлы, при условии, что функция реализована в их соответствующем драйвере. Как результат, дд может использоваться для таких задач, как резервное копирование загрузочный сектор жесткого диска и получение фиксированного количества случайных данных. В дд программа также может выполнять преобразования данных по мере их копирования, в том числе порядок байтов замена и преобразование в и из ASCII и EBCDIC текстовые кодировки.[2]

История

Название дд это намек на Заявление DD нашел в IBM с Язык управления заданиями (JCL),[3][4] в котором сокращение от «Data Definition».[5] Синтаксис команды больше похож на оператор JCL, чем на другие команды Unix, настолько, что Эрик С. Раймонд говорит: «Дизайн интерфейса был явно шуткой».[3] Интерфейс переработан в План 9 команда dd для использования стиля параметра командной строки.[6] дд иногда с юмором называют «Disk Destroyer» из-за его способности стирать диск.[7]

Первоначально предназначалось для преобразования между ASCII и EBCDIC, дд впервые появился в Версия 5 Unix.[8] В дд команда указана, так как X / Открыть Руководство по переносимости, выпуск 2 от 1987 г. Это унаследовано IEEE Стандарт 1003.1-2008 (POSIX ), который является частью Единая спецификация UNIX.[9]

Версия дд в комплекте GNU coreutils был написан Полом Рубином, Дэвидом Маккензи и Стюартом Кемпом.[10]

использование

В командная строка синтаксис дд отличается от многих других программ Unix. Он использует синтаксис вариант=ценить для своего параметры командной строки а не более стандартный -стоимость опциона или же --вариант=ценить форматы. По умолчанию, дд читает из стандартный ввод и пишет в стандартный вывод, но их можно изменить с помощью если (входной файл) и из (выходной файл) параметры.[9]

Некоторые особенности дд будет зависеть от возможностей компьютерной системы, таких как ддвозможность реализовать возможность прямого доступа к памяти. Отправка СИГИНФО сигнал (или сигнал USR1 в Linux) к работающему дд процесс заставляет его печатать статистику ввода / вывода в стандартная ошибка один раз, а затем продолжить копирование. дд может читать стандартный ввод с клавиатуры. Когда конец файла (EOF) достигнуто, дд выйдет. Сигналы и EOF определяются программным обеспечением. Например, инструменты Unix, перенесенные на Windows варьируются в отношении EOF: Cygwin использует Ctrl+D (обычный Unix EOF) и Набор инструментов MKS использует Ctrl+Z (обычный Windows EOF).

Нестандартные части вызова dd различаются в зависимости от реализации.

Выходные сообщения

По окончании, дд печатает на stderr поток о статистике передачи данных. Формат стандартизирован в POSIX.[9](STDERR) Страница руководства для GNU dd не описывает этот формат, но руководства BSD описывают его.

Каждая из строк «Входящие записи» и «Выходные записи» показывают количество переданных полных блоков + количество частичных блоков, например потому что физический носитель закончился до того, как был прочитан полный блок, или физическая ошибка помешала чтению всего блока.

Размер блока

А блокировать это единица измерения количества байты которые читаются, записываются или конвертируются за один раз. Параметры командной строки могут указывать другой размер блока для ввода / чтения (СРК) по сравнению с выводом / записью (Наблюдения), хотя размер блока (bs) опция переопределит оба СРК и Наблюдения. Значение по умолчанию для размеров как входного, так и выходного блока составляет 512 байт (традиционный размер блока дисков и размер «блока» в соответствии с требованиями POSIX). В считать возможность копирования измеряется в блоках, как и пропускать считать для чтения и искать считать для записи. На операции преобразования также влияет «размер блока преобразования» (cbs).[9](ОПЕРАНДЫ)

Значение, указанное для параметров размера блока, интерпретируется как десятичное (с основанием 10) целое число байтов. Он также может содержать суффиксы, указывающие, что размер блока представляет собой целое число единиц, больше байтов. POSIX определяет только суффиксы б (блоков) для 512 и k (кибибайты ) для 1024.[9](ОПЕРАНДЫ) Реализация различается дополнительными суффиксами, которые они поддерживают: (Free) BSD использует строчные буквы. м (мебибайты ), грамм (гибибайты ) и так далее для тебибайт, exbibytes, Pebibytes, зебибиты, и йобибайты,[11] в то время как GNU использует M и грамм для тех же единиц, с кБ, МБ, и ГБ используется для их Единица СИ аналоги (килобайты ).[10] Например, для GNU дд, bs = 16 млн указывает размер блока 16 мебибайт (16777216 байт) и bs = 3 КБ указывает 3000 байтов.

Кроме того, некоторые реализации понимают Икс в качестве оператора умножения как для размера блока, так и для параметров подсчета. Например, bs = 2x80x18b интерпретируется как 2 × 80 × 18 × 512 = 1474560 байты, точный размер 1440 КБ дискета. Это требуется в POSIX, но GNU, похоже, не поддерживает это.[9](ОПЕРАНДЫ) В результате становится более портативным использовать Оболочка POSIX арифметический синтаксис bs=$((2*80*18))б.

Размер блока влияет на производительность копирования дд команды. Выполнение большого количества небольших операций чтения или записи часто происходит медленнее, чем выполнение меньшего количества крупных операций. Использование больших блоков требует больше оперативной памяти и может усложнить восстановление после ошибок. Когда дд используется с устройствами с переменным размером блока, такими как ленточные накопители или сети, размер блока может определять размер записи на ленту или пакет размер, в зависимости от сетевой протокол использовал.

Использует

В дд Команда может использоваться для различных целей. Для команд простого копирования он, как правило, медленнее, чем альтернативы для конкретного домена, но он выделяется своей уникальной способностью «перезаписывать или обрезать файл в любой точке или искать в файле», довольно низкоуровневый интерфейс для Unix файловый API.[12]

В приведенных ниже примерах предполагается использование GNU dd, в основном в аргументе размера блока. Чтобы сделать их портативными, замените, например, bs = 64M с арифметическим выражением оболочки бс = $ ((64 * 1024 * 1024)) или же бс = $ ((64 << 20)) (записывается эквивалентно с битовый сдвиг ).

Передача данных

дд может дублировать данные в файлах, устройствах, разделах и томах. Данные могут вводиться или выводиться в любой из них; но есть важные различия, касающиеся вывода при переходе в раздел. Также во время передачи данные могут быть изменены с помощью Конв варианты, подходящие для среды. (Однако для этого дд медленнее, чем Кот.)[12]

Формы передачи данных дд
блоки = $ (isosize -d 2048 / dev / sr0)
dd if = / dev / sr0 of = isoimage.iso bs = 2048 count = $ статус блоков = прогресс
Создает ISO образ диска из CD-ROM, DVD или же Блю рей диск.[13]
дд если = system.img of =/ dev / sdc bs = 64M conv = noerror
Восстанавливает жесткий диск (или SD-карту, например) из ранее созданного образа.
dd if = / dev / sdb2 of = partition.image bs = 64M conv = noerror
Создайте образ раздела sdb2, используя размер блока 64 MiB.
dd if = / dev / sda2 of = / dev / sdb2 bs = 64M conv = noerror
Клоны один раздел другому.
dd if = / dev / ad0 of = / dev / ad1 bs = 64M conv = noerror
Клонирует жесткий диск "ad0" в "ad1".

В Нет ошибки опция означает продолжить работу в случае ошибки, а синхронизировать опция заставляет блоки вывода заполняться.

Модификация на месте

дд может изменять данные на месте. Например, это заменяет первые 512 байтов файла нулевыми байтами:

дд, если =/ dev / ноль of = путь / к / файлу bs = 512 count = 1 conv = notrunc

В notrunc Параметр преобразования означает, что выходной файл не обрезается - то есть, если выходной файл уже существует, просто замените указанные байты и оставьте остальную часть выходного файла в покое. Без этой опции дд создаст выходной файл длиной 512 байт.

Резервное копирование и восстановление основной загрузочной записи

Приведенный выше пример также можно использовать для резервного копирования и восстановления любой области устройства в файл, например Главная загрузочная запись.

Чтобы продублировать первые два сектора гибкого диска:

dd if = / dev / fd0 of = MBRboot.img bs = 512 count = 2

Очистка диска

Основная статья: Стирание данных

По соображениям безопасности иногда необходимо иметь очистка диска выброшенного устройства. Это может быть достигнуто "передачей данных" из специальных файлов Unix.

  • Чтобы записать нули на диск, используйте дд, если =/ dev / ноль из =/ dev / sda bs = 16 млн.
  • Чтобы записать случайные данные на диск, используйте дд, если =/ dev / urandom из =/ dev / sda bs = 16 млн.

По сравнению с примером модификации данных над, notrunc опция преобразования не требуется, поскольку она не действует, когда ддвыходной файл является блочным устройством.[14]

В bs = 16 млн опция делает dd читать и писать 16мебибайты вовремя. Для современных систем даже больший размер блока может быть быстрее. Обратите внимание, что заполнение диска случайными данными может занять больше времени, чем обнуление диска, потому что случайные данные должны создаваться процессором, а создание нулей происходит очень быстро. На современных жестких дисках обнуление диска сделает большую часть содержащихся на нем данных безвозвратной.[15] Однако с другими типами накопителей, такими как флэш-память, большая часть данных может быть восстановлена ​​с помощью остаточные данные.

Современное жесткие диски содержать Безопасное стирание команда, предназначенная для постоянного и безопасного стирания всех доступных и недоступных частей диска. Это также может сработать для некоторых твердотельные накопители (флэш-накопители). По состоянию на 2017 год не работает на USB-накопители ни на Secure Digital флэш-воспоминания.[нужна цитата ] Когда это возможно, это быстрее, чем использование dd, и более безопасно.[нужна цитата ] На Linux машины он доступен через hdparm командование --безопасность-стирание-улучшенная вариант.

В крошить Программа предлагает несколько перезаписей, а также более безопасное удаление отдельных файлов.

Восстановление данных

Восстановление данных включает чтение с диска, некоторые части которого потенциально недоступны. дд хорошо подходит для этой работы благодаря гибкому пропуску (искать) и другие низкоуровневые настройки. Ваниль ддоднако использовать его неуклюже, поскольку пользователю приходится читать сообщения об ошибках и вручную вычислять области, которые могут быть прочитаны. Размер единичного блока также ограничивает степень детализации восстановления, поскольку приходится идти на компромисс: либо используйте маленький для большего количества восстановленных данных, либо используйте большой для скорости.

Программа C называется dd_rescue был написан в октябре 1999 года. В нем была упразднена функция преобразования дд, и поддерживает два размера блоков для решения этой дилеммы. Если чтение с использованием большого размера не удается, оно возвращается к меньшему размеру, чтобы собрать как можно больше данных. Он также может бегать назад.[16] В 2003 г. dd_rhelp скрипт был написан для автоматизации процесса использования dd_rescue, отслеживая, какие области были прочитаны самостоятельно.[17]

В 2004 году GNU написал отдельную утилиту, не имеющую отношения к дд, называется ddrescue. Он имеет более сложный алгоритм динамического размера блока и отслеживает то, что было прочитано внутри. Авторы обоих dd_rescue и dd_rhelp считает это лучше их реализации.[18] Чтобы отличить новую программу GNU от старого сценария, иногда используются альтернативные имена для GNU ddrescue, включая адресат (имя на freecode.com и freshmeat.net), gddrescue (Debian название пакета), и gnu_ddrescue (openSUSE имя пакета).

Другая программа с открытым исходным кодом под названием сохранитьhd7 использует сложный алгоритм, но также требует установки собственный интерпретатор языка программирования.

Тестирование производительности привода

Чтобы выполнить тестовый тест накопителя и проанализировать последовательную (и обычно однопоточную) производительность системы чтения и записи для блоков размером 1024 байта:

  • Производительность записи: дд, если =/ dev / ноль bs = 1024 count = 1000000 из = 1GB_file_to_write
  • Прочитать производительность: dd if = 1GB_file_to_read of =/ dev / null шс = 1024

Создание файла со случайными данными

Чтобы создать файл из 100 случайных байтов с помощью драйвера случайного набора ядра:

дд, если =/ dev / urandom of = myrandom bs = 100 count = 1

Преобразование файла в верхний регистр

Чтобы преобразовать файл в верхний регистр:

dd if = filename of = filename1 conv = ucase, notrunc

Индикатор прогресса

Поскольку программа в основном разработана как фильтр, дд обычно не дает индикации прогресса. Это можно решить, отправив USR1 сигнал запущенному GNU дд процесс, в результате дд печать текущего количества переданных блоков.

Следующая однострочная строка приводит к непрерывному выводу прогресса каждые 10 секунд до завершения передачи, когда dd-pid заменяется идентификатором процесса дд: 

в то время как kill -USR1 dd-pid ; спать 10; сделано

Новые версии GNU дд поддержать статус = прогресс опция, которая включает периодическую печать статистики переводов в stderr.[19]

Вилки

dcfldd

dcfldd это вилка GNU дд это улучшенная версия, разработанная Ником Харбором, который в то время работал в Соединенных Штатах. Лаборатория компьютерной криминалистики Министерства обороны США.[20][21][22] В сравнении с дд, dcfldd позволяет использовать более одного выходного файла, поддерживает одновременное вычисление нескольких контрольных сумм, обеспечивает режим проверки для сопоставления файлов и может отображать процент хода выполнения операции. Последний выпуск был в 2020 году.[23]

dc3dd

dc3dd это еще один улучшенный GNU дд из Соединенных Штатов Центр киберпреступности Министерства обороны (DC3). Его можно рассматривать как продолжение dcfldd с заявленной целью обновления всякий раз, когда обновляется восходящий поток GNU. Последний его выпуск был в 2018 году.[24]

Смотрите также

Рекомендации

  1. ^ Остин Групп. «Стандарт POSIX: вызов dd». Получено 2016-09-29.
  2. ^ Чессман, Сэм. "Как и когда использовать команду dd?". КодКофе. Получено 2008-02-19.
  3. ^ а б Раймонд, Эрик С. "дд". Получено 2008-02-19.
  4. ^ Ричи, Деннис (17 февраля 2004 г.). "Re: происхождение команды UNIX dd". Группа новостей: alt.folklore.comкомпьютеры. Usenet:  [email protected]. Получено 10 января, 2016. dd всегда называли в честь карт JCL dd.
  5. ^ Шеин, Барри (22 апреля 1990 г.). "Re: этимология команды Unix" dd "". Группа новостей: alt.folklore.comкомпьютеры. Usenet:  [email protected]. Получено 2016-07-14.
  6. ^ дд (1) – План 9 Руководство программиста, том 1
  7. ^ «Как использовать dd в Linux, не разрушая диск». Opensource.com. 2018-07-05. Получено 2020-10-11.
  8. ^ Макилрой, М.Д. (1987). Читатель Research Unix: аннотированные выдержки из Руководства программиста, 1971–1986 (PDF) (Технический отчет). CSTR. Bell Labs. 139.
  9. ^ а б c d е ж дд - Справочник по командам и утилитам, Единая спецификация UNIX, Выпуск 7 из Открытая группа
  10. ^ а б дд (1) – Linux Пользователя Руководство - Пользовательские команды
  11. ^ дд (1) – FreeBSD Общие команды Руководство
  12. ^ а б Жиль (2011). "клонирование - dd vs cat - актуален ли dd в наши дни?". Обмен стеков Unix и Linux.
  13. ^ Чтение ISO-образа с CD, DVD или BD, ARCH linux documentation, дата обращения: 22.01.2017.
  14. ^ "linux - Почему используется conv = notrunc при клонировании диска с помощью dd?". Переполнение стека. 2013-12-11. Получено 2014-03-24.
  15. ^ Райт, Крейг; Клейман, Дэйв; Сундхар Р. С., Шьям (2008). «Перезапись данных на жестком диске: великая полемика об стирании». Конспект лекций по информатике. Безопасность информационных систем. 5352: 243–257. Дои:10.1007/978-3-540-89862-7_21. ISBN  978-3-540-89861-0.
  16. ^ "dd_rescue". garloff.de.
  17. ^ LAB Valentin (19 сентября 2011 г.). "репозиторий автора dd_rhelp". Важное примечание: в некоторых случаях dd_rhelp был единственным инструментом (AFAIK), который выполнял эту работу, но через несколько лет это больше не соответствует действительности: Антонио Диас написал идеальную замену для моего инструмента: GNU 'ddrescue'.
  18. ^ «Ddrescue - Проект GNU - Фонд свободного программного обеспечения (FSF)». gnu.org.
  19. ^ "GNU Coreutils: вызов dd". Операционная система GNU и движение за свободное программное обеспечение. Получено 2019-08-26.
  20. ^ "DCFLDD в Source Forge". Source Forge. Получено 2013-08-17.
  21. ^ Джереми Фэйрклот, Крис Херли (2007). Набор инструментов с открытым исходным кодом для тестирования на проникновение. Syngress. С. 470–472. ISBN  9780080556079.
  22. ^ Джек Уайлс, Энтони Рейес (2011). Лучшая проклятая книга о киберпреступности и цифровой криминалистике. Syngress. С. 408–411. ISBN  9780080556086.
  23. ^ "dcfldd: Расширенная версия dd для криминалистики и безопасности". GitHub. Получено 2020-11-19.
  24. ^ "dc3dd". SourceForge.

внешняя ссылка