OPeNDAP - OPeNDAP

OPeNDAP является аббревиатурой от "Проект с открытым исходным кодом для протокола доступа к сетевым данным, "усилия, направленные на улучшение извлечения удаленных структурированных данных с помощью веб-архитектуры и нейтрального с точки зрения дисциплины протокола доступа к данным (DAP). Широко используется, особенно в Науки о Земле, протокол накладывается на HTTP, а его текущая спецификация - DAP4,[1] хотя предыдущая версия DAP2 по-прежнему широко используется. Разработано и продвигается (открыто и совместно) некоммерческой организацией OPeNDAP, Inc.,[2] DAP предназначен для удаленного выборочного извлечения данных как легко вызываемая веб-служба. OPeNDAP, Inc. также разрабатывает и поддерживает нулевые (эталонные) реализации протокола DAP как на стороне сервера, так и на стороне клиента.

«OPeNDAP» часто используется вместо «DAP» для обозначения протокола, но также может относиться ко всей архитектуре поиска данных на основе DAP. Другие архитектуры, ориентированные на DAP, например THREDDS[3] и ERDDAP, NOAA GEO-IDE UAF ERDDAP[4] демонстрируют значительную функциональную совместимость друг с другом, а также с системами, использующими собственные серверы и программное обеспечение OPeNDAP (с открытым исходным кодом).

Клиент DAP может быть обычным браузером или даже электронной таблицей, хотя и с ограниченной функциональностью (см. Веб-страницу OPeNDAP на Доступное клиентское программное обеспечение ). Как правило, клиенты DAP:

  • Инструменты анализа или визуализации данных (например, MATLAB, IDL, Панопли, ГРАДЫ, Встроенный просмотрщик данных, Хорек и ncBrowse[5]) которые их авторы адаптировали для обеспечения возможности ввода данных на основе DAP;
  • Аналогично адаптированные веб-приложения (такие как Dapper Data Viewer, также известная как DChart)[6]
  • Аналогично адаптированные программы для конечных пользователей (на общих языках)

Независимо от их типов и независимо от того, были ли они разработаны коммерчески или конечным пользователем, клиенты почти всегда подключаются к серверам DAP через библиотеки реализующие протокол DAP2 или DAP4 на том или ином языке. OPeNDAP предлагает библиотеки с открытым исходным кодом в C ++ и Ява, но многие клиенты полагаются на библиотеки, разработанные сообществом, такие как PyDAP или, особенно, NetCDF люкс. Разработано и поддерживается программой Unidata в UCAR на нескольких языках программирования, все NetCDF библиотеки включают встроенные возможности для получения данных (в виде массива) с серверов DAP.

Клиент, использующий данные, ссылается на набор данных по своему URL-адресу и запрашивает метаданные или контент, отправляя (обычно через встроенную библиотеку DAP) HTTP-запрос к серверу DAP. Запросы содержания обычно предшествовал запросами метаданных, описывающих структуру и другие подробности о наборе данных, на который имеется ссылка. Используя эту информацию, клиент может создавать выражения ограничения DAP.[7] для получения определенного контента (т. е. подмножеств) из источника. Серверы OPeNDAP предлагают различные типы ответов в зависимости от конкретной формы запроса клиента, включая XML, JSON, HTML и ASCII. В ответ на запросы о содержание, Серверы OPeNDAP могут отвечать документами MIME, состоящими из нескольких частей, которые включают двоичную часть с NetCDF или собственная кодировка DAP. (Эти двоичные формы предлагают компактные средства для доставки больших объемов контента, а собственная форма DAP при желании может даже передаваться в потоковом режиме.)

Программное обеспечение OPeNDAP для построения серверов DAP (поверх Apache ) называется Hyrax и включает адаптеры которые облегчают обслуживание широкого спектра исходных данных. Серверы DAP чаще всего разрешают (удаленный) доступ к (большим) HDF или файлы NetCDF, но исходные данные могут существовать в базах данных или других форматах, включая определяемые пользователем. Когда исходные данные организованы в виде файлов, извлечение DAP разрешено через подмножество, более детальный доступ, чем FTP. Кроме того, серверы OPeNDAP могут объединять подмножества из нескольких файлов для доставки за один запрос. Взятые вместе, разбиение на подмножества, агрегация и потоковая передача могут обеспечить существенную эффективность доступа к данным даже при наличии медленных сетей.

OPeNDAP и другие серверы DAP используются в государственных учреждениях, в том числе НАСА и NOAA, для предоставления доступа к Науки о Земле данные, включая спутниковые снимки и другие источники информации большого объема. Модель данных DAP включает исчерпывающий набор структур данных, включая многомерные массивы и вложенные последовательности (т. Е. Записи), дополненных соответственно богатым набором выражений ограничений. Таким образом, архитектура поиска данных OPeNDAP продемонстрировала полезность для широкого спектра типов научных данных, включая данные, полученные с помощью моделирования, и данные, полученные с помощью наблюдений (независимо от того, получены ли они дистанционно или измерены на месте).

Рекомендации

  1. ^ DAP4 Спецификация
  2. ^ Официальный веб-сайт
  3. ^ ПОРОГИ
  4. ^ ERDDAP
  5. ^ Графический браузер файлов netCDF
  6. ^ Программное обеспечение OPeNDAP
  7. ^ Выражения ограничений DAP

внешняя ссылка