Парсинг данных - Data scraping

Эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален. Найдите источники: «Очистка данных»  – Новости  · газеты  · книги  · ученый  · JSTOR (Февраль 2011 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Парсинг данных это техника, в которой компьютерная программа выдержки данные из человек читаемый вывод поступает из другой программы.

Описание

Обычно, Передача данных между программами осуществляется с помощью структуры данных подходит для автоматизированный обработка компьютеры, а не люди. Такой обмен форматы и протоколы обычно жестко структурированы, хорошо документированы, легко разбирается и свести двусмысленность к минимуму. Очень часто эти передачи не человек читаемый вообще.

Таким образом, ключевой элемент, который отличает парсинг данных от обычного разбор заключается в том, что очищаемый вывод предназначен для отображения на конечный пользователь, а не в качестве входных данных для другой программы, и поэтому обычно не документируется и не структурируется для удобного анализа. Сбор данных часто включает игнорирование двоичных данных (обычно изображений или мультимедийных данных), отображать форматирование, повторяющиеся метки, лишние комментарии и другая информация, которая не имеет отношения к делу или мешает автоматической обработке.

Сбор данных чаще всего выполняется либо для взаимодействия с устаревшая система, у которого нет другого механизма, совместимого с текущими аппаратное обеспечение, или для взаимодействия со сторонней системой, которая не обеспечивает более удобного API. Во втором случае оператор сторонней системы часто будет рассматривать очистку экрана как нежелательную по таким причинам, как увеличение объема системы. нагрузка, Потери из рекламное объявление доход, или потеря контроля над информационным содержанием.

Сбор данных обычно считается для этого случая Неэлегантный метод, часто используемый только как «крайнее средство», когда нет другого механизма обмена данными. Помимо высшего программирование и обработки накладных расходов, выходные дисплеи, предназначенные для потребления человеком, часто часто меняют структуру. Люди могут легко справиться с этим, но компьютерная программа может сообщать о чепухе, если им сказали читать данные в определенном формате или месте и не зная, как проверить их результаты на достоверность.

Технические варианты

Очистка экрана

Фрагмент экрана и интерфейс очистки экрана (синяя рамка с красной стрелкой) для настройки процесса сбора данных.

Хотя использование физического "тупой терминал "IBM 3270s постепенно уменьшается, поскольку все больше и больше приложений для мэйнфреймов приобретают Интернет интерфейсов, некоторые веб-приложения просто продолжают использовать технику "очистка экрана«для захвата старых экранов и передачи данных в современные интерфейсы.^[1]

Очистка экрана обычно связана с программным сбором визуальных данных из источника, а не с анализом данных, как при очистке веб-страниц. Первоначально очистка экрана относится к практике чтения текстовых данных с дисплея компьютера Терминал с экран. Обычно это делалось путем чтения терминала объем памяти через вспомогательные порт или подключив выходной порт терминала одной компьютерной системы к входному порту другого. Термин очистка экрана также обычно используется для обозначения двунаправленного обмена данными. Это могут быть простые случаи, когда управляющая программа перемещается через пользовательский интерфейс, или более сложные сценарии, когда управляющая программа вводит данные в интерфейс, предназначенный для использования человеком.

В качестве конкретного примера классического скребка экрана рассмотрим гипотетическую систему, унаследованную от 1960-х годов - рассвета компьютеризованной обработка данных. Компьютер к пользовательские интерфейсы с той эпохи часто были просто текстовыми немые терминалы которые были не более чем виртуальными телепринтеры (такие системы все еще используются сегодня^{[Обновить]}, по разным причинам). Желание связать такую ​​систему с более современными системами является обычным явлением. А крепкий решение часто требует вещей, которые больше не доступны, например исходный код, система документация, API, или же программисты с опытом работы в компьютерной системе 50-летней давности. В таких случаях единственное возможное решение может заключаться в написании скребка экрана, который «притворяется» пользователем на терминале. Скребок экрана может подключаться к устаревшей системе через Telnet, подражать нажатия клавиш, необходимые для навигации по старому пользовательскому интерфейсу, обработки результирующего вывода дисплея, извлечения требуемых данных и передачи их в современную систему. Сложная и надежная реализация такого рода, построенная на платформе, обеспечивающей управление и контроль, необходимые для крупного предприятия, например. контроль изменений, безопасность, управление пользователями, защита данных, операционный аудит, балансировка нагрузки, управление очередью и т. д. - можно назвать примером роботизированная автоматизация процессов программное обеспечение, называемое RPA или RPAAI для самоуправляемого RPA 2.0 на основе искусственный интеллект.

В 1980-х годах такие поставщики финансовых данных, как Рейтер, Телетрансляция, и Quotron отображаемые данные в формате 24 × 80, предназначенные для читателя. Пользователи этих данных, в частности инвестиционные банки, написал приложения для захвата и преобразования этих символьных данных в числовые данные для включения в расчеты для принятия торговых решений без изменение ключей данные. Общий термин для этой практики, особенно в объединенное Королевство, был уничтожение страниц, поскольку можно было представить, что результаты прошли через уничтожитель бумаг. Для внутреннего использования Reuters использовало термин «логизированный» для этого процесса преобразования, используя сложную компьютерную систему на VAX / VMS называется Logicizer.^[2]

Более современные методы очистки экрана включают захват данных растрового изображения с экрана и их прогон через OCR движок, или для некоторых специализированных автоматизированных систем тестирования, сопоставление растровых данных экрана с ожидаемыми результатами.^[3] Это можно комбинировать в случае GUI приложений, с запросом графических элементов управления путем программного получения ссылок на их базовые объекты программирования. Последовательность экранов автоматически фиксируется и преобразуется в базу данных.

Другая современная адаптация к этим методам заключается в использовании вместо последовательности экранов в качестве входных данных набора изображений или файлов PDF, поэтому есть некоторые совпадения с обычным «парсингом документов» и отчет о добыче техники.

Есть много инструментов, которые можно использовать для очистки экрана.^[4]

Веб-скрапинг

веб-страница построены с использованием текстовых языков разметки (HTML и XHTML ) и часто содержат множество полезных данных в текстовой форме. Однако большинство веб-страниц предназначены для людей. конечные пользователи а не для простоты автоматизированного использования. Из-за этого были созданы наборы инструментов для очистки веб-контента. А веб-скребок является API или инструмент для извлечения данных с веб-сайта. Такие компании как Amazon AWS и Google предоставлять конечным пользователям бесплатные инструменты, услуги и общедоступные данные для сбора данных. Новые формы сбора данных включают прослушивание потоков данных с веб-серверов. Например, JSON обычно используется в качестве транспортного механизма хранения между клиентом и веб-сервером.

Недавно компании разработали системы парсинга веб-страниц, основанные на использовании техник в Парсинг DOM, компьютерное зрение и обработка естественного языка для имитации обработки человеком, который происходит при просмотре веб-страницы, для автоматического извлечения полезной информации.^[5][6]

Крупные веб-сайты обычно используют защитные алгоритмы для защиты своих данных от веб-парсеров и для ограничения количества запросов, которые IP или IP-сеть может отправлять. Это вызвало непрекращающуюся битву между разработчиками веб-сайтов и разработчиками парсинга.^[7]

Отчет о добыче

Отчет о добыче извлечение данных из компьютерных отчетов, удобочитаемых человеком. Общепринятый извлечение данных требуется подключение к работающей исходной системе, подходит возможность подключения стандарты или API, и обычно сложные запросы. Используя стандартные параметры отчетности исходной системы и направляя выходные данные в файл спула вместо принтер можно создавать статические отчеты, подходящие для автономного анализа, с помощью интеллектуального анализа отчетов.^[8] Такой подход позволяет избежать интенсивных ЦПУ использование в рабочее время, может минимизировать конечный пользователь стоимость лицензии на ERP клиентам, и может предложить очень быстрое прототипирование и разработку индивидуальных отчетов. В то время как очистка данных и веб-анализ включают взаимодействие с динамическим выводом, интеллектуальный анализ отчетов включает извлечение данных из файлов в удобочитаемом формате, таком как HTML, PDF или текст. Их можно легко создать практически из любой системы, перехватив подачу данных на принтер. Этот подход может обеспечить быстрый и простой способ получения данных без необходимости программирования API для исходной системы.

Смотрите также

• Сравнение агрегаторов кормов
• Очистка данных
• Изменение данных
• Импортер (вычисления)
• Извлечение информации
• Открытые данные
• Mashup (гибрид веб-приложений)
• Метаданные
• Веб-скрапинг
• Парсинг поисковой системы

Рекомендации

дальнейшее чтение

• Хеменуэй, Кевин и Калишайн, Тара. Взломы пауков. Кембридж, Массачусетс: О'Рейли, 2003. ISBN  0-596-00577-6.