Обработка данных - Data wrangling

Обработка данных, иногда называемый изменение данных, это процесс трансформации и картографические данные от одного "сырой "форма данных в другую формат с целью сделать его более подходящим и ценным для различных последующих целей, таких как аналитика. А обработчик данных это человек, который выполняет эти операции преобразования.

Это может включать дополнительные возня, визуализация данных, агрегирование данных, обучение статистическая модель, а также многие другие варианты использования. Обработка данных как процесс обычно следует за набором общих шагов, которые начинаются с извлечения данных в необработанной форме из источника данных, «преобразования» необработанных данных с помощью алгоритмов (например, сортировки) или анализа данных в заранее определенные структуры данных, и, наконец, размещение полученного содержимого в приемнике данных для хранения и использования в будущем.[1]

Задний план

Нетехнический термин "споритель" часто называют производным от работы, проделанной Библиотека Конгресса США с Национальная программа по инфраструктуре и сохранению цифровой информации (NDIIPP) и их партнером по программе Университет Эмори Библиотеки на основе MetaArchive Partnership. Термин «маш» имеет корни в возня как описано в Файл жаргона.[2] Термин «Data Wrangler» также был предложен как лучшая аналогия кодировщику для тех, кто работает с данными.[3]

Термины обработка данных и обработчик данных время от времени использовались в 1990-х и начале 2000-х годов. Одно из первых деловых упоминаний о борьбе с данными было в статье в журнале Byte Magazine в 1997 году (том 22, выпуск 4), в которой говорилось о «Perl-сервисах обработки данных». В 2001 году сообщалось, что CNN наняла[4] «Дюжина обработчиков данных», которые помогают отслеживать информацию для новостей.

Одно из первых упоминаний о споре с данными в научном контексте было сделано Дональдом Клайном во время эксперимента NASA / NOAA «Холодные земли».[5] Клайн заявил, что обработчики данных «координируют сбор всей коллекции экспериментальных данных». Клайн также указывает обязанности, обычно выполняемые администратор хранилища для работы с большим количеством данные. Это может произойти в таких областях, как крупные исследование проекты и создание фильмы с большим количеством сложных компьютерные изображения. В исследованиях это касается как Передача данных от исследовательского инструмента до сети хранения или хранилища, а также от обработки данных для повторного анализа с помощью высокопроизводительных вычислительных инструментов или доступа через киберинфраструктуру электронные библиотеки.

Типичное использование

Преобразования данных обычно применяются к отдельным объектам (например, полям, строкам, столбцам, значениям данных и т. Д.) В наборе данных и могут включать такие действия, как извлечение, синтаксический анализ, объединение, стандартизация, расширение, очистка, консолидация и фильтрация для создания желаемые результаты переговоров, которые могут быть использованы ниже по потоку.

Получателями могут быть физические лица, например архитекторы данных или специалисты по данным кто будет исследовать данные дальше, бизнес-пользователи, которые будут использовать данные непосредственно в отчетах, или системы, которые будут обрабатывать данные и записывать их в целевые объекты, например хранилища данных, озера данных или последующие приложения.

Порядок работы

В зависимости от объема и формата входящих данных обработка данных традиционно выполнялась вручную (например, с помощью электронных таблиц, таких как Excel), такими инструментами, как KNIME или через скрипты на таких языках, как Python или SQL. р, язык, который часто используется для интеллектуального анализа данных и статистического анализа данных, теперь также часто[6] используется для обработки данных.

Системы обработки визуальных данных были разработаны, чтобы сделать обработку данных доступной для непрограммистов и более простой для программистов. Некоторые из них также включают встроенный AI. рекомендации и Программирование на примере средства для оказания помощи пользователям, и Программный синтез методы автогенерирования кода масштабируемого потока данных. Ранние прототипы инструментов обработки визуальных данных включают: OpenRefine и Стэнфорд / Беркли Wrangler система исследований;[7] последний превратился в Trifacta.

Другие термины для этих процессов включают франчайзинг данных,[8] подготовка данных и изменение данных.

Смотрите также

использованная литература

  1. ^ Что такое искажение данных?
  2. ^ Запись в файле жаргона для Mung
  3. ^ Сообщение в блоге Open Knowledge Foundation
  4. ^ За заголовками обновленных новостей
  5. ^ Парсонс, MA, MJ Brodzik и NJ Rutter. 2004. Управление данными для эксперимента по процессам холодной земли: совершенствование гидрологической науки. ГИДРОПРОЦЕСС. 18: 3637-653. http://onlinelibrary.wiley.com/doi/10.1002/hyp.5801/abstract
  6. ^ Исследование O’Reilly в области науки о данных, 2016 г.
  7. ^ Кандел, Шон; Паепке, Андреас (май 2011 г.). "Wrangler: Интерактивная визуальная спецификация сценариев преобразования данных". СИГЧИ. Дои:10.1145/1978942.1979444. S2CID  11133756.
  8. ^ Что такое франчайзинг данных? (2003 и 2017 гг. IRI )