Dataspaces - Dataspaces

Информацию об использовании "Dataspace" (или "Data space") на мэйнфреймах IBM см. Dataspaces и Hiperspaces.

Dataspaces являются абстракцией в управление данными которые направлены на преодоление некоторых проблем, возникающих в интеграция данных система. Цель состоит в том, чтобы уменьшить усилия, необходимые для настройки системы интеграции данных, полагаясь на существующие методы сопоставления и сопоставления, а также улучшить систему по мере ее использования с оплатой по мере использования. Трудоемкие аспекты интеграции данных откладываются до тех пор, пока они не станут абсолютно необходимыми.[1][2][3][4][5][6][7][8]

Традиционно интеграция данных и обмен данными Системы стремились предложить многие из предполагаемых услуг систем пространств данных. Пространства данных можно рассматривать как следующий шаг в эволюции архитектур интеграции данных, но они отличаются от существующих систем интеграции данных следующим образом. Системы интеграции данных требуют семантическая интеграция до предоставления каких-либо услуг. Следовательно, хотя не существует единой схемы, которой соответствуют все данные, и данные находятся во множестве хост-систем, система интеграции данных знает точные отношения между терминами, используемыми в каждой схеме. В результате требуются значительные предварительные усилия, чтобы настроить систему интеграции данных.

Пространства данных смещают акцент на подход к сосуществованию данных, обеспечивая базовую функциональность для всех источников данных, независимо от того, насколько они интегрированы. Например, платформа поддержки DataSpace (DSSP) может предоставить Поиск по ключевой фразе по всем источникам данных, как и в существующих поисковых системах. Когда требуются более сложные операции, такие как запросы в реляционном стиле, сбор данных или мониторинг определенных источников, то можно приложить дополнительные усилия для более тесной интеграции этих источников поэтапно. Аналогичным образом, с точки зрения традиционных гарантий баз данных, изначально система пространства данных может предоставить только более слабые гарантии согласованности и надежности. По мере необходимости более надежных гарантий можно приложить больше усилий для заключения соглашений между различными владельцами источников данных и открытия определенных интерфейсов (например, для протоколов фиксации).

Графики данных играют важную роль в системах пространств данных. Они работают на основе фактов (троек или «сущностей данных», состоящих из объекта-предиката-субъекта)[9] подход к моделированию данных, который поддерживает описанные выше методы «плати по факту». Они поддерживают сосуществование данных и поэтому являются идеальным методом для семантическая интеграция. Поисковые и реляционные запросы и аналитика могут работать одновременно с графами данных, что является еще одним важным свойством пространств данных.

Приложения пространств данных

Управление личной информацией

Цель управление личной информацией предлагает легкий доступ и управление всей информацией на рабочем столе человека с возможным расширением на мобильные устройства, личную информацию в Интернете или даже всю информацию, доступ к которой осуществляется в течение жизни человека. Недавние инструменты поиска на рабочем столе являются важным первым шагом для PIM, но ограничены запросами по ключевым словам. Наши рабочие столы обычно содержат некоторые структурированные данные (например, электронные таблицы ) и существуют важные ассоциации между разрозненными элементами на рабочем столе. Следовательно, следующий шаг для PIM - позволить пользователю выполнять поиск на рабочем столе более значимыми способами. Например, «найти список юниоров, прошедших мой курс базы данных в прошлом квартале» или «вычислить совокупный баланс моих банковских счетов». Мы также хотели бы выполнить поиск по ассоциации, например, «найти электронное письмо, которое Джон прислал мне в день, когда я вернулся с Гавайев», или «получить файлы экспериментов, связанные с моей статьей SIGMOD в этом году». Наконец, мы хотели бы запросить источники, например, «найти все статьи, в которых я подтвердил получение определенного гранта», «найти все эксперименты, проведенные конкретным студентом» или «найти все электронные таблицы, в которых есть столбец дисперсии».

Принципы работы с пространствами данных в этом примере заключаются в следующем:

  1. инструмент PIM должен обеспечивать доступ ко всей информации на рабочем столе, а не только к явно или неявно выбранному подмножеству, и
  2. хотя PIM часто включает в себя интеграцию данных из нескольких источников, мы не можем предположить, что пользователи будут тратить время на интеграцию. Вместо этого большую часть времени система должна будет обеспечивать результаты с максимальной эффективностью, а более тесная интеграция будет создаваться только в тех случаях, когда выгода явно перевешивает инвестиции.

Управление научными данными

Рассмотрим группу научных исследований, занимающуюся наблюдением и прогнозированием окружающей среды, такую ​​как CORIE System1. Они могут осуществлять мониторинг прибрежной экосистемы с помощью метеорологических станций, датчиков, установленных на берегу и на буях, и удаленных изображений. Кроме того, они могут запускать модели атмосферы и гидродинамики, моделирующие прошлые, текущие и ближайшие будущие условия. Для расчетов может потребоваться импорт данных и выходных данных моделей из других групп, таких как прогнозы речных потоков и циркуляции океана. Наблюдения и моделирование являются исходными данными для программ, которые генерируют широкий спектр продуктов данных для использования внутри группы и другими лицами: графики сравнения наблюдаемых и смоделированных данных, изображения распределения температуры поверхности, анимации вторжения соленой воды в Такая группа может легко накопить миллионы продуктов данных всего за несколько лет. Хотя может случиться так, что для каждого файла кто-то в группе знает, где он находится и что он означает, никто не может знать все хранилища или значение каждого файла. Люди, получающие доступ к этим данным, особенно из-за пределов группы, хотели бы выполнить поиск в основном инвентаре, который имел основные атрибуты файла, такие как охватываемый период времени, географический регион, высота или глубина, физические переменные (соленость, температура, скорость ветра), вид информационный продукт (график, график изолиний, анимация), прогноз или ретроспективный анализ и т. д. Как только интересующие информационные продукты обнаружены, понимание происхождения имеет первостепенное значение для возможности анализировать и сравнивать продукты: какая версия кода использовалась? Какая сетка конечных элементов? Как долго длился временной шаг моделирования? Какой набор атмосферных данных был использован в качестве входных?

Группы должны будут объединиться с другими группами для создания научных пространств данных регионального или национального масштаба. Им нужно будет легко экспортировать свои данные в стандартные научные форматы и с детализацией (субфайл или несколько файлов), которые не обязательно соответствуют разделам, которые они используют для хранения данных. Пользователи объединенного пространства данных могут захотеть увидеть наборы данных, которые охватывают группы в федерации, такие как все наблюдения и продукты данных, связанные со скоростью воды, или все данные, относящиеся к определенному участку береговой линии за последние два месяца. Такие коллекции могут потребовать локальных копий или дополнительных указателей для быстрого поиска.

Этот сценарий иллюстрирует несколько требований к пространству данных, включая

  1. каталог всего пространства данных,
  2. Поддержка для происхождение данных и
  3. создание коллекций и индексов по объектам, охватывающим более одного участвующего источника.

Смотрите также

Рекомендации

  1. ^ Belhajjame, K .; Патон, Н.В.; Эмбери, С. М .; Fernandes, A.A.A .; Хеделер, К. (2013). «Постепенное улучшение пространств данных на основе отзывов пользователей». Информационные системы. 38 (5): 656. CiteSeerX  10.1.1.303.1957. Дои:10.1016 / j.is.2013.01.006.
  2. ^ Belhajjame, K .; Патон, Н.В.; Эмбери, С. М .; Fernandes, A.A.A .; Хеделер, К. (2010). «Аннотации на основе обратной связи, выбор и уточнение отображений схем для пространств данных». Труды 13-й Международной конференции по расширению технологий баз данных - EDBT '10. п. 573. Дои:10.1145/1739041.1739110. ISBN  9781605589459.
  3. ^ Талукдар, П. П .; Ives, Z. G .; Перейра, Ф. (2010). «Автоматическое включение новых источников в интеграцию данных на основе поиска по ключевым словам». Материалы международной конференции по управлению данными 2010 г. - SIGMOD '10. п. 387. Дои:10.1145/1807167.1807211. ISBN  9781450300322.
  4. ^ Sarma, A.D .; Донг, X. (L .; Halevy, A. Y. (2009). "Моделирование данных в платформах поддержки пространства данных". Концептуальное моделирование: основы и приложения. Конспект лекций по информатике. 5600. п. 122. Дои:10.1007/978-3-642-02463-4_8. ISBN  978-3-642-02462-7.
  5. ^ Dong, X. L .; Халеви, А .; Ю, К. (2008). «Интеграция данных с неопределенностью». Журнал VLDB. 18 (2): 469. CiteSeerX  10.1.1.176.3648. Дои:10.1007 / s00778-008-0119-9.
  6. ^ Howe, B .; Maier, D .; Rayner, N .; Ракер, Дж. (2008). «Поиск пространств данных: бессхемное профилирование незнакомых источников информации». 2008 24-я Международная конференция IEEE по Data Engineering Workshop. п. 270. Дои:10.1109 / ICDEW.2008.4498331. ISBN  978-1-4244-2161-9.
  7. ^ Донг, X .; Галеви, А. (2007). «Индексирование пространств данных». Материалы международной конференции ACM SIGMOD 2007 по управлению данными - SIGMOD '07. п. 43. Дои:10.1145/1247480.1247487. ISBN  9781595936868.
  8. ^ Франклин, М .; Халеви, А .; Майер, Д. (2005). «От баз данных к пространствам данных». Запись ACM SIGMOD. 34 (4): 27. Дои:10.1145/1107499.1107502.
  9. ^ [1] ZDNet, Actian добавляет в свой арсенал механизм графической аналитики SPARQL City.

дальнейшее чтение

внешняя ссылка