GUSE - GUSE

Guselogo.jpg

Среда поддержки пользователей сети и облака (gUSE), также известная как WS-PGRADE (веб-служба - среда выполнения и разработки приложений для параллельных сетей) /ВИЛКА, это платформа научного шлюза с открытым исходным кодом, которая позволяет пользователям получать доступ к сетевым и облачным инфраструктурам. gUSE разработан Лабораторией параллельных и распределенных систем (LPDS ) в Институт компьютерных наук и управления (СЗТАКИ) Венгерская Академия Наук.

Соответствующим требованием при разработке gUSE было обеспечение возможности одновременной обработки очень большого количества заданий, даже в диапазоне миллионов, без ущерба для времени отклика в пользовательском интерфейсе. Чтобы достичь этого уровня параллелизма, серверная часть управления рабочим процессом gUSE реализована на основе концепции веб-сервисов сервис-ориентированной архитектуры (SOA).

Структура научного портала

Есть много сообществ пользователей, которые хотели бы получить доступ к нескольким DCI прозрачным образом, но они не хотят изучать особенности используемых DCI. Они хотят сконцентрировать свое научное приложение - для них использование Science Gateway (SG) является решением. SG обеспечивает интерфейс между ученым (или сообществом) и распределенными вычислительными инфраструктурами (DCI). Инфраструктура SG, такая как gUSE, предоставляет определенный набор вспомогательных технологий, а также интерфейсные и серверные службы, которые вместе создают общий шлюз. Фреймворки SG не специализируются на определенной научной области, поэтому их могут использовать ученые из самых разных областей. Вспомогательная технология, такая как gUSE, предоставляет необходимый программный стек для разработки структур SG и экземпляров SG (обеспечивает упрощенный пользовательский интерфейс, полностью адаптированный к потребностям данного научного сообщества). Типичными примерами таких поддерживающих технологий являются: контейнеры веб-приложений (Tomcat, Glassfish и т. Д.), Платформы порталов или веб-приложений (Liferay, Spring и т. Д.), Системы управления базами данных (MySQL и т. Д.), Системы управления рабочими процессами (сам gUSE , MOTEUR и т. Д.)

У SG могут быть разные цели. В целом, исследователи, использующие шлюзы, могут сосредоточиться на своих научных целях и меньше на сборке необходимой электронной инфраструктуры. Важная цель - облегчить ученым использование (национальных) вычислительных ресурсов и ресурсов хранения при создании и использовании инструментов совместной работы для обмена данными.

Структура SG может использоваться национальными сетевыми инициативами (NGI) для поддержки небольших сообществ пользователей, которые не могут позволить себе разработку собственной индивидуализированной SG. Инфраструктура gUSE SG также предоставляет два интерфейса прикладного программирования (API), а именно API-интерфейс для конкретных приложений и удаленный API-интерфейс, для создания SG для конкретных приложений в соответствии с потребностями различных сообществ пользователей.

Функции

GUSE предоставляет WS-PGRADE графический интерфейс пользователя для создания и выполнения рабочих процессов в различных распределенных вычислительных инфраструктурах (DCI).

Среди множества других функций, основные пять возможностей gUSE следующие: (1) gUSE - это универсальная инфраструктура SG, в рамках которой пользователи могут получить доступ к более чем двадцати различным DCI через службу DCI Bridge и шести различным типам хранения данных (HTTP , HTTPS, GSIFTP, S3, SFTP и SRM) через службу Data Avenue. И DCI Bridge, и Data Avenue были разработаны как часть стека сервисов WS-PGRADE / gUSE, но они также могут использоваться как независимые сервисы, позволяющие использовать их из других типов шлюзов и систем рабочего процесса. (2) WS-PGRADE / gUSE - это система, ориентированная на рабочий процесс. Он расширяет концепцию рабочего процесса на основе направленного ациклического графа (DAG) с помощью функций расширенного анализа параметров (PS) с помощью специальных узлов рабочего процесса, выполнения рабочего процесса в зависимости от условий и поддержки внедрения рабочего процесса. Более того, gUSE расширяет концепцию конкретного рабочего процесса концепциями абстрактного рабочего процесса, экземпляра рабочего процесса и шаблона. (3) WS-PGRADE / gUSE поддерживает разработку и выполнение приложений на основе рабочих процессов. Пользователи gUSE определяют свои приложения как рабочие процессы. Они могут делиться своими приложениями друг с другом, экспортируя их во внутренний репозиторий приложений. Другие пользователи могут импортировать такие приложения и запускать или изменять их в своем пользовательском пространстве. (4) gUSE поддерживает быструю разработку экземпляров SG с помощью технологии настройки. gUSE может удовлетворять различные потребности в соответствии с требованиями сообщества в отношении вычислительной мощности, сложности приложений и специфики пользовательского интерфейса, чтобы соответствовать потребностям сообщества и соответствовать его терминологии. (5) Самый важный аспект дизайна gUSE это гибкость. Гибкость ГУСЭ выражена

  • в использовании параллелизма: gUSE позволяет выполнять параллельное выполнение внутри узла рабочего процесса, а также между узлами рабочего процесса. Можно использовать несколько экземпляров одного и того же рабочего процесса с разными файлами данных.
  • при использовании DCI: gUSE может получить доступ к различным DCI: кластерам, сеткам кластеров, сеткам настольных компьютеров, суперкомпьютерам и облакам.
  • в доступе к хранилищу данных: узлы рабочего процесса gUSE могут получать доступ к различным службам хранения данных в разных DCI через службу Data Avenue Blacktop. Таким образом, передача файлов между различными хранилищами и узлами рабочего процесса может выполняться автоматически / прозрачно.
  • в управлении безопасностью: для безопасной аутентификации можно использовать личные сертификаты пользователей или сертификаты роботов.
  • в облачном доступе: WS-PGRADE / gUSE может получить доступ к большому набору различных облаков (Amazon, OpenStack, OpenNebula и т. д.) либо напрямую (см. главу 4), либо через платформу CloudBroker.
  • поддерживаемых типов шлюзов: gUSE поддерживает разные типы шлюзов: шлюзы общего назначения для национальных сетей (например, для греческих и итальянских NGI), шлюзы общего назначения для конкретных DCI (например, шлюз EDGI), шлюзы общего назначения для конкретных технологий ( например, шлюз SHIWA для совместного использования рабочего процесса и взаимодействия) и экземпляры научных шлюзов для конкретных предметных областей (например, швейцарский портал протеомики, шлюз MoSGrid, шлюз Autodock, шлюз Seizmology и VisIVO).
  • при использовании систем рабочих процессов: пользователи могут получить доступ из репозитория рабочих процессов SHIWA ко многим рабочим процессам, написанным на различных языках рабочих процессов, и использовать эти рабочие процессы как встроенные рабочие процессы внутри узлов рабочего процесса WS-PGRADE.

Архитектура

альтернативный текст
WS-PGRADE / gUSE Архитектура

Основная цель разработки многоуровневой архитектуры WS-PGRADE / gUSE состояла в том, чтобы обеспечить универсальный доступ к множеству различных типов DCI и хранилищ данных с помощью различных типов пользовательских интерфейсов. Этот доступ может быть технически выполнен через службу отправки заданий DCI Bridge, которая находится внизу в пределах архитектурных уровней gUSE, и через службу Data Avenue Blacktop, которая является независимой службой, предоставляемой SZTAKI.

DCI Bridge - это приложение на основе веб-служб, обеспечивающее стандартный доступ к различным DCI. Он подключается через плагины DCI к внешним ресурсам DCI. Когда пользователь отправляет рабочий процесс, его компоненты задания прозрачно передаются в различные системы DCI через службу DCI Bridge с использованием стандартного интерфейса OGSA Basic Execution Service 1.0 (BES). В результате протокол доступа и все технические детали различных систем DCI полностью скрыты за интерфейсом BES. Язык описания должностей в BES - это стандартизированный язык описания вакансий (JSDL). DCI Bridge поддерживает следующие DCI:

Средний уровень архитектуры gUSE содержит высокоуровневые сервисы gUSE. Хранилище рабочего процесса хранит всю информацию, необходимую для определения рабочего процесса (описание структуры графа, указатели входных файлов, указатели выходных файлов, исполняемый код и целевой DCI узлов рабочего процесса), за исключением входных файлов рабочего процесса. Локальные входные файлы и локальные выходные файлы, созданные во время выполнения рабочего процесса, хранятся в хранилище файлов. Интерпретатор рабочих процессов отвечает за выполнение рабочих процессов, которые хранятся в хранилище рабочих процессов. Информационная система содержит информацию для пользователей о выполняемых рабочих процессах и статусе заданий. Пользователи шлюзов WS-PGRADE работают в изолированном рабочем пространстве, то есть видят только свои рабочие процессы. Чтобы обеспечить сотрудничество между изолированными пользователями, в репозитории приложений хранятся рабочие процессы WS-PGRADE на одном из пяти возможных этапов. (Физически все пять категорий хранятся в виде zip-файлов.) Ниже перечислены пять категорий сохраненных рабочих процессов, и сотрудничество между пользователями шлюза возможно через все эти категории:

  • График (или абстрактный рабочий процесс), содержащий информацию только о структуре графика рабочего процесса.
  • Рабочий процесс (или конкретный рабочий процесс), содержащий информацию как о структуре графа, так и о параметрах конфигурации (указатели входных файлов, указатели выходных файлов, исполняемый код и целевой DCI узлов рабочего процесса).
  • Шаблон: рабочий процесс, содержащий информацию обо всех возможных изменяемых параметрах рабочего процесса, могут ли они быть изменены пользователями или нет. Они играют важную роль в автоматическом создании исполняемых рабочих процессов в режиме конечного пользователя шлюза WS-PGRADE / gUSE.
  • Приложение - это готовый к использованию рабочий процесс, который также содержит все встроенные рабочие процессы. Это означает, что вся информация, необходимая для выполнения этого приложения рабочего процесса, хранится в соответствующем zip-файле.
  • Проект - это рабочий процесс, который еще не завершен и может быть доработан лицом, загрузившим его в репозиторий приложений, или другим лицом (таким образом поддерживается совместная разработка рабочего процесса несколькими разработчиками рабочего процесса).

В верхней части трехуровневой структуры уровень представления предоставляет WS-PGRADE, графический пользовательский интерфейс общей инфраструктуры SG. Все функции базовых сервисов открываются пользователям с помощью портлетов, находящихся в контейнере портлетов Liferay, который является частью WS-PGRADE. Этот уровень можно легко настроить и расширить в соответствии с потребностями экземпляров SG, которые будут производными от gUSE. В следующем разделе представлены основные элементы WS-PGRADE на уровне пользователя.

Научные шлюзы на основе gUSE

GUSE обеспечивает основу для большего числа европейских SG:

  • Шлюз AgINFRA
  • Портал автодока
  • AMC e-BioInfra Gateway
  • Портал HELIOGate
  • Портал MoSGrid
  • Verce SG
  • VisIVO шлюз

Проекты с gUSE

gUSE предоставляет одну из базовых инфраструктур разработки рабочего процесса для большого количества исследовательских работ в многочисленных проектах ЕС FP7. Текущие проекты ЕС и страны с GUSE:

  • VIA LACTEA
  • agroDAT
  • cloudSME
  • SCI-BUS

Смотрите также

Рекомендации

внешняя ссылка