Oracle Grid Engine - Oracle Grid Engine

Для последней проприетарной версии см. Univa Grid Engine.
Oracle Grid Engine
Логотип GridEngine
Разработчики)Корпорация Oracle (ранее Sun Microsystems ) в сотрудничестве с сообществом
Стабильный выпуск
6.2u8; информацию о форках см. в первом разделе для источников последних версий технологии / 1 октября 2012 г. (2012-10-01)
Операционная системаКроссплатформенность
ТипГрид-вычисления
ЛицензияSISSL
Интернет сайтwww.oracle.com/ technetwork/ OEM/ grid-engine-166852.html

Oracle Grid Engine,[1] ранее известный как Sun Grid Engine (SGE), КОДИН (Вычисления в распределенных сетевых средах) или GRD (Директор по глобальным ресурсам),[2] был сеточные вычисления компьютерный кластер программная система (также известная как пакетная система очередей ), приобретенный в рамках покупки Gridware,[3] затем улучшен и поддержан Sun Microsystems и позже Oracle. Существовали версии с открытым исходным кодом и несколько коммерческих версий этой технологии, сначала от Sun, позже от Oracle, а затем от Univa Корпорация.

22 октября 2013 года Univa объявила о приобретении интеллектуальная собственность и товарные знаки для технологии Grid Engine, и Univa возьмет на себя поддержку.[4]. С тех пор Univa разработала технологию Grid Engine, например повышение масштабируемости, что продемонстрировано кластером с 1 млн ядер в Веб-сервисы Amazon (AWS) объявлено 24 июня 2018 г.[5]

Оригинальный веб-сайт проекта с открытым исходным кодом Grid Engine был закрыт в 2010 году, но версии технологии все еще доступны под исходным кодом. Исходная лицензия стандартов Sun Industry (SISSL).[6] Эти проекты были созданы на основе исходного кода проекта и известны как Son of Grid Engine,[7] Планировщик открытой сетки[8] и Univa Grid Engine.[9]

Grid Engine обычно используется в компьютерной ферме или высокопроизводительные вычисления (HPC) кластер и отвечает за прием, планирование, диспетчеризацию и управление удаленным и распределенным выполнением большого количества автономных, параллельных или интерактивных пользовательских заданий. Он также управляет и планирует распределение распределенных ресурсов, таких как процессоры, память, дисковое пространство и лицензии на программное обеспечение.

Grid Engine был основой Солнечная сетка служебные вычисления система, доступная через Интернет в Соединенные Штаты в 2006 г.[10] позже стал доступен во многих других странах и был ранней версией общедоступного облачные вычисления объект, предшествующий AWS, например.

Функции

Приведенные ниже наборы функций датируются последними выпусками Sun в 2009 году или ранее. Более свежую информацию о функциях можно найти на веб-сайтах форков с открытым исходным кодом или для Univa Grid Engine.

Скриншот веб-интерфейса xml-qstat

Особенности версии 6.2:

  • Предварительное бронирование
  • Взаимозависимости заданий массива
  • Основанный на правилах Квота ресурсов контроль[11]
  • Улучшенное удаленное выполнение (без использования внешних процессов rshd / rlogind / sshd)
  • Мульти-кластеризация[12]
  • Демоны, управляемые Средство управления услугами на Solaris
  • Псевдо TTY (pty) поддержка интерактивных заданий
  • Верификатор отправки работы (проверка работы на стороне клиента и на стороне сервера)
  • GUI Установщик и SGE Inspect
  • Планирование с учетом топологии и привязка потоков
  • Hadoop интеграция Amazon EC2 интеграция для облачных вычислений

Другие особенности SGE включают:

  • Несколько расширенных алгоритмы планирования разрешить мощное распределение ресурсов на основе политик
  • Кластерные очереди
  • Отказоустойчивость заданий и планировщика - Grid Engine продолжает работать, пока доступен один или несколько хостов.
  • Контрольные точки работы
  • Массивы заданий и рабочие задачи
  • DRMAA (API вакансий)
  • Резервирование ресурсов
  • Отчет о состоянии XML (qstat и qhost), а xml-qstat[13] веб интерфейс
  • Параллельные работы (MPI, PVM, OpenMP ) и запуск масштабируемого параллельного задания с помощью qrsh[14]
  • Учет использования
  • Консоль бухгалтерского учета и отчетности (ARCO)
  • параллельный make: distmake, dmake (Солнечная студия ) и собственный qmake от SGE
  • FLEXlm интеграция[15][16] и управление лицензиями на ПО для нескольких кластеров с LicenseJuggler[17]

Платформы

Grid Engine работает на нескольких платформах, включая: AIX, BSD - FreeBSD, NetBSD, OpenBSD, HP-UX, IRIX, Linux, Mac OS X, Солярис, SUPER-UX, Tru64, Windows через СФУ (Interix ) или SUA (Службы Microsoft Windows для UNIX ) (только как хосты исполнения) и Z / OS (в ходе выполнения[когда? ])

Кластерная архитектура

Типичный кластер Grid Engine состоит из главного хоста и одного или нескольких исполнительных хостов. Несколько мастера тени также может быть настроен как горячие запчасти, которые берут на себя роль мастера при выходе из строя исходного главного хоста.[18]

Поддержка и обучение

Univa оказывает коммерческую поддержку и обучение для Univa Grid Engine и Oracle Grid Engine. Ниже приводится описание некоторых исторических вариантов.

Sun предоставила контракты на поддержку коммерческой версии Grid Engine в большинстве UNIX платформы и Windows.[19] Профессиональные услуги, консультации, обучение и поддержка были предоставлены Sun Partners.[20] Sun сотрудничает с Джорджтаунский университет предоставить классы администрирования Grid Engine.[21] Биокоманда проводит короткие обучающие семинары SGE продолжительностью 1 или 2 дня.[22]

Пользователи получили поддержку сообщества в списках рассылки Grid Engine.[23]Семинары по сетевым двигателям проводились в 2002, 2003, 2007, 2009 и 2012 годах в г. Регенсбург, Германия.[24]

Пользователи

Ниже приведена историческая информация. Более свежая информация о развертывании, особенно в отношении коммерческих пользователей, доступна по адресу Univa.

Известные развертывания SGE включают:

История

В 2000 году Sun приобрела Gridware, частного коммерческого поставщика передового программного обеспечения для управления вычислительными ресурсами с офисами в Сан-Хосе, Калифорния, и Регенсбурге, Германия.[29] Позже в том же году Sun предложила бесплатную версию Gridware для Solaris и Linux и переименовала продукт в Sun Grid Engine.

В 2001 году Sun сделала исходный код имеется в наличии,[30] и принял модель разработки с открытым исходным кодом. Порты для Mac OS X и * BSD были предоставлены разработчиками с открытым исходным кодом, не принадлежащими Sun.[31]

В 2010 году, после покупки Sun компанией Oracle, исходный код обновления 6 Grid Engine 6.2 не был включен в двоичные файлы, и изменения не были возвращены в исходный репозиторий проекта. В ответ на это сообщество Grid Engine начало проект Open Grid Scheduler, чтобы продолжить разработку и поддержку бесплатной реализации Grid Engine.[32][33][34]

18 января 2011 г. было объявлено, что Univa наняли несколько главных инженеров из бывшей команды Sun Grid Engine, и что Univa будет разрабатывать свой собственный раздвоенный версия Grid Engine. Недавно объявленный Univa Grid Engine включает коммерческую поддержку и будет конкурировать с официальной версией Oracle Grid Engine.[35][36][37]

22 октября 2013 года Univa объявила о приобретении интеллектуальная собственность и товарные знаки, относящиеся к технологии Grid Engine, и что Univa возьмет на себя поддержку клиентов Oracle Grid Engine.[38]

В сентябре 2020 г. Альтаир Инжиниринг, глобальная технологическая компания, предоставляющая решения в области анализа данных, разработки продуктов и высокопроизводительных вычислений (HPC), приобрела Univa. [39].

Другие продукты на базе Grid Engine

Ниже приведена историческая информация, а некоторые продукты и решения больше не доступны:

Дополнительное программное обеспечение

Доступен ряд надстроек SGE:

Смотрите также

Рекомендации

  1. ^ "Oracle Grid Engine". Корпорация Oracle. 30 мая 2010 г.
  2. ^ "Небольшой урок истории". Sun Microsystems. 2006-06-23.
  3. ^ https://www.cnet.com/news/sun-snaps-up-software-company-gridware/
  4. ^ «Univa завершила приобретение активов Grid Engine, став единственным коммерческим поставщиком программного обеспечения Grid Engine». Корпорация Юнива. 2013-10-22.
  5. ^ «Univa демонстрирует масштабную автоматизацию, развернув более одного миллиона ядер в едином кластере Univa Grid Engine с использованием AWS». Univa. 2018-06-24. Получено 24 июня, 2018.
  6. ^ "Лицензия исходного кода Grid Engine". Sun MicroSystems. 2010-06-04. Архивировано из оригинал на 2013-11-12. Получено 2013-10-23.
  7. ^ "Сын Grid Engine". Ливерпульский университет.
  8. ^ «Планировщик открытой сетки». Сообщество Open Grid Scheduler.
  9. ^ «Univa Grid Engine». Univa.
  10. ^ "Первая в мире энергосистема оживает в Интернете". Sun Microsystems. 2006-03-22.
  11. ^ Спецификация: квота ресурсов
  12. ^ «Дом проекта Хедебю». Sun Microsystems. Архивировано из оригинал 5 января 2009 г.. Получено 2008-01-25.
  13. ^ "xml-qstat". olesenm.github.com. Получено 2009-10-12.
  14. ^ «Долгая задержка при отправке больших заказов (сообщение из списка рассылки)». Sun Microsystems. Получено 2007-12-25.[постоянная мертвая ссылка ]
  15. ^ "гибкая сетка". olesenm.github.com. Получено 2009-10-12.
  16. ^ «Олесен-FLEXlm-Интеграция». wiki.gridengine.info. Получено 2007-12-25.
  17. ^ "LicenseJuggler". wiki.gridengine.info. Получено 2007-12-26.
  18. ^ «Как установить Shadow Master Host». Блог Sun Grid Engine 6.2u3. 27 августа 2009 г. Архивировано с оригинал 2 октября 2011 г.. Получено 6 октября, 2011.
  19. ^ «Покупка прав на Sun Store Grid Engine». Sun Microsystems. Архивировано из оригинал на 2006-11-13. Получено 2008-03-03.
  20. ^ «Партнеры Sun Grid Engine 6». Sun Microsystems. Получено 2007-12-14.
  21. ^ «Расширенный класс конфигурации и администрирования Sun Grid Engine». Sun Microsystems. Получено 2007-12-14.
  22. ^ "Обучение персонала". Биотим Инк. Получено 2008-03-24.
  23. ^ "Списки рассылки Grid Engine". Sun Microsystems. Архивировано из оригинал 25 декабря 2008 г.. Получено 6 октября, 2011.
  24. ^ «Мастерские сетевых двигателей». Sun Microsystems. Архивировано из оригинал 8 марта 2009 г.. Получено 6 октября, 2011.
  25. ^ «Программное обеспечение Sun N1 Grid Engine и суперкомпьютерная сеть Токийского технологического института». Sun Microsystems. Получено 2007-11-16.
  26. ^ "TACC> Системы HPC". Техасский университет в Остине. Архивировано из оригинал на 2009-08-01. Получено 2007-12-13.
  27. ^ "Еще факты и цифры о рейнджерах". Sun Microsystems. Архивировано из оригинал на 2012-04-17. Получено 2008-02-12.
  28. ^ «Список TOP500 - июнь 2008 г.». TOP500.Org. 2006-06-18.
  29. ^ «Программное обеспечение для управления ресурсами Gridware повышает эффективность и производительность в ресурсоемких технических вычислительных средах». Sun Microsystems. 2000-07-24.
  30. ^ «Sun Microsystems делает программное обеспечение SUN GRID ENGINE доступным для сообщества с открытым исходным кодом». Sun Microsystems. 2001-07-23.
  31. ^ «Перенос инструментов HPC на FreeBSD». 2010-05-14.
  32. ^ Планировщик открытой сетки
  33. ^ Эдлайн, доктор философии, Дуглас (1 сентября 2010 г.). «Состояние Oracle / Sun Grid Engine». Журнал Linux. Получено 2011-01-18.
  34. ^ Темплтон, Дэниел (2010-12-23). «Изменения для светлого будущего в Oracle». Получено 2011-01-19.
  35. ^ «Univa приобретает опыт работы с сетевыми двигателями» (Пресс-релиз). Univa. 2011-01-18. Архивировано из оригинал на 2011-01-21. Получено 2011-01-18.
  36. ^ Фельдман, Майкл (18 января 2011 г.). «Univa спасает Grid Engine от Oracle». HPCwire. Архивировано из оригинал на 2011-01-24. Получено 2011-01-18.
  37. ^ Морган, Тимоти Прикетт (18 января 2011 г.). "Univa является форком Oracle Sun Grid Engine". Реестр. Получено 2011-01-18.
  38. ^ «Univa завершила приобретение активов Grid Engine, став единственным коммерческим поставщиком программного обеспечения Grid Engine». Корпорация Юнива. 2013-10-22.
  39. ^ «Альтаир приобретает Univa». 14 сентября 2020.
  40. ^ «Решение Sun Compute Cluster». Sun Microsystems.
  41. ^ «Установка и настройка Sun Cluster HA для Sun Grid Engine». Sun Microsystems. 2008-02-15.
  42. ^ «Примечания к выпуску GT 5.0.0».

внешняя ссылка