Квазиоппортунистический суперкомпьютер - Quasi-opportunistic supercomputing

Типичный централизованный суперкомпьютерный центр в НАСА Эймс с более чем 100 шкафами, в каждом из которых размещается много процессоров, в общей сложности около 14 000 взаимосвязанных процессоров в одной комнате.[1] С другой стороны, распределен система (например, BOINC ) может использовать десятки тысяч персональных компьютеров в Интернете, когда они доступны.[2]

Квазиоппортунистический суперкомпьютер вычислительная парадигма для суперкомпьютеры на большом количестве географически рассредоточить компьютеры.[3] Квази-оппортунистические суперкомпьютеры призваны обеспечить более высокое качество обслуживания, чем гибкое совместное использование ресурсов.[4]

Квази-оппортунистический подход координирует компьютеры, которые часто находятся в разных владельцах, для достижения надежных и отказоустойчивой высокая производительность с большим контролем, чем оппортунистический компьютерные сети в котором вычислительные ресурсы используются всякий раз, когда они становятся доступными.[3]

В то время как "оппортунистический подход" к планирование задач в компьютерных сетях проще в том, что он просто сопоставляет задачи с любыми ресурсами, которые могут быть доступны в данный момент, требуя суперкомпьютерных приложений, таких как моделирование погоды или же вычислительная гидродинамика остались вне досягаемости, отчасти из-за препятствий в надежном распределении большого количества задач, а также из-за надежной доступности ресурсов в определенный момент времени.[5][6]

Квази-оппортунистический подход позволяет выполнять требовательные приложения в компьютерных сетях путем заключения соглашений о распределении ресурсов по сетям; и отказоустойчивой передача сообщений для абстрактной защиты от сбоев базовых ресурсов, таким образом поддерживая некоторый оппортунизм, позволяя при этом более высокий уровень контроля.[3]

Оппортунистические суперкомпьютеры в сетях

Общий принцип сеточные вычисления заключается в использовании распределенных вычислительных ресурсов из разных административных доменов для решения одной задачи, используя ресурсы по мере их доступности. Традиционно большинство сетевых систем приближались к планирование задач вызов, используя подход «оппортунистического сопоставления», при котором задачи сопоставляются с любыми ресурсами, которые могут быть доступны в данный момент.[5]

Пример архитектуры территориально рассредоточенной распределенной вычислительной системы, находящейся в распределенной собственности, соединяющей множество персональных компьютеров по сети

BOINC, разработанный в Калифорнийский университет в Беркли является примером на волонтерской основе, гибкая вычислительная система.[2] Приложения на основе BOINC grid достигли уровня в несколько петафлопов, используя около полумиллиона компьютеров, подключенных к Интернету, когда появляются волонтерские ресурсы.[7] Другая система, Складной @ дома, который не основан на BOINC, вычисляет сворачивание белка, достигла 8,8 петафлопс за счет использования клиентов, которые включают GPU и PlayStation 3 системы.[8][9][2] Однако эти результаты неприменимы к TOP500 рейтинги, потому что они не имеют общего назначения Linpack ориентир.

Ключевой стратегией для grid-вычислений является использование промежуточное ПО это разделяет части программы между разными компьютерами в сети.[10] Хотя в целом сеточные вычисления добился успеха в параллельном выполнении задач, требующих суперкомпьютерных приложений, таких как моделирование погоды или вычислительная гидродинамика остались вне досягаемости, отчасти из-за препятствий в надежном распределении большого количества задач, а также из-за надежной доступности ресурсов в данный момент.[2][10][9]

Оппортунистический Интернет PrimeNet Server поддерживает GIMPS, один из первых проектов в области грид-вычислений с 1997 года, Мерсенн прайм числа. По состоянию на май 2011 г., Распределенное исследование GIMPS в настоящее время достигает около 60 терафлопс в рамках добровольного вычислительного проекта.[11] Использование вычислительных ресурсов на "волонтерские сети "такие, как GIMPS, обычно являются чисто конъюнктурными: географически рассредоточенные компьютеры, находящиеся в распределении, вносят свой вклад всякий раз, когда они становятся доступными, без заранее установленных обязательств, что какие-либо ресурсы будут доступны в любой момент времени. Следовательно, гипотетически, если многие из добровольцев невольно решат переключить свои компьютеры выключены в определенный день, ресурсы сети станут значительно сокращены.[12][2][9] Более того, пользователи сочтут чрезвычайно дорогостоящим организацию очень большого количества гибких вычислительных ресурсов таким образом, чтобы можно было достичь разумных высокопроизводительные вычисления.[12][13]

Квазиуправление вычислительными ресурсами

Представление атмосферная модель с дифференциальные уравнения которые требуют суперкомпьютерных возможностей

Пример более структурированной сетки для высокопроизводительных вычислений: DEISA суперкомпьютерный проект, организованный европейское сообщество который использует компьютеры в семи европейских странах.[14] Хотя разные части программы, выполняемой в рамках DEISA, могут выполняться на компьютерах, расположенных в разных странах с разными владельцами и администрациями, здесь больше контроля и координации, чем при чисто оппортунистическом подходе. DEISA имеет двухуровневую схему интеграции: «внутренний уровень» состоит из ряда прочно связанных высокопроизводительных компьютерные кластеры которые используют аналогичные операционные системы и механизмы планирования и обеспечивают однородные вычисления среда; а «внешний уровень» состоит из гетерогенные системы обладающие суперкомпьютерными возможностями.[15] Таким образом, DEISA может предоставлять пользователям несколько контролируемых, но рассредоточенных высокопроизводительных вычислительных услуг.[15][16]

Квазиоппортунистическая парадигма направлена ​​на преодоление этого путем достижения большего контроля над назначением задач распределенным ресурсам и использования заранее согласованных сценариев доступности систем в сети. Квази-оппортунистическое распределенное выполнение требовательного программного обеспечения для параллельных вычислений в гридах фокусируется на реализации соглашений о распределении по сетке, подсистемах совместного размещения, механизмах распределения с учетом топологии связи, отказоустойчивых библиотеках передачи сообщений и предварительной обработке данных.[17] В этом подходе отказоустойчивой передача сообщений необходима для абстрактной защиты от сбоев основных ресурсов.[3]

Квази-оппортунистический подход выходит за рамки волонтерские вычисления в сильно распределенных системах, таких как BOINC, или вообще сеточные вычисления в такой системе, как Глобус разрешив промежуточное ПО чтобы обеспечить почти непрерывный доступ ко многим вычислительным кластерам, чтобы существующие программы на таких языках, как Fortran или C, могли быть распределены между несколькими вычислительными ресурсами.[3]

Ключевой компонент квази-оппортунистического подхода, как в Qoscos Grid, представляет собой экономичную модель распределения ресурсов, в которой ресурсы предоставляются на основе соглашений между конкретными сайтами администрирования суперкомпьютеров. В отличие от добровольческих систем, основанных на альтруизме, для выполнения определенных типов задач предусмотрены определенные договорные условия. Однако парадигма «око за око», в которой вычисления окупаются за счет будущих вычислений, не подходит для суперкомпьютерных приложений, и ее избегают.[18]

Другой ключевой компонент квази-оппортунистического подхода - надежный передача сообщений система для предоставления распределенных перезапуск контрольной точки механизмы, когда компьютерное оборудование или сети неизбежно выходят из строя.[18] Таким образом, если какая-то часть большого вычисления завершится неудачно, не нужно отказываться от всего прогона, но можно будет перезапустить его с последней сохраненной контрольной точки.[18]

Смотрите также

Рекомендации

  1. ^ Сайт НАСА
  2. ^ а б c d е Параллельный и распределенный вычислительный интеллект Франсиско Фернандес де Вега, 2010 г. ISBN  3-642-10674-9 страницы 65-68
  3. ^ а б c d е Квазиоппортунистические суперкомпьютеры в гридах Валентин Кравцов, Давид Кармели, Вернер Дубицкий, Ариэль Орда, Ассаф Шустер, Бенни Йошпа, на Международном симпозиуме IEEE по высокопроизводительным распределенным вычислениям, 2007 г., страницы 233–244. [1]
  4. ^ Вычислительная наука - Iccs 2008: 8-я международная конференция под редакцией Мариана Бубака, 2008 г. ISBN  978-3-540-69383-3 страницы 112-113 [2]
  5. ^ а б Грид-вычисления: управление экспериментами, интеграция инструментов и научные рабочие процессы Раду Продан, Томас Фарингер 2007 ISBN  3-540-69261-4 страницы 1-4
  6. ^ Вычислительная наука - Iccs 2009: 9-я международная конференция Отредактировано Габриэль Аллен, Ярек Набжиски 2009 ISBN  3-642-01969-2 страницы 387-388 [3]
  7. ^ Статистика BOIN, 2011 г. В архиве 2010-09-19 на Wayback Machine
  8. ^ Статистика Folding @ home, 2011
  9. ^ а б c Euro-par 2010, Семинар по параллельной обработке отредактировал Марио Р. Гуаррачино 2011 ISBN  3-642-21877-6 страницы 274-277
  10. ^ а б Языки и компиляторы для параллельных вычислений Гуан Р. Гао, 2010 г. ISBN  3-642-13373-8 страницы 10-11
  11. ^ "Серверная технология распределенных вычислений Internet PrimeNet для большого поиска в Интернете Мерсенн Прайм". GIMPS. Получено 6 июня, 2011.
  12. ^ а б Грид-вычисления: на пути к глобальной взаимосвязанной инфраструктуре отредактировал Николаос П. Преве 2011 ISBN  0-85729-675-2 стр.71
  13. ^ Купер, Кертис и Стивен Бун. «Великий Интернет-поиск Мерсенн Прайм в Университете Центрального Миссури». Университет Центрального Миссури. Получено 4 августа 2011.
  14. ^ Высокопроизводительные вычисления - HiPC 2008 отредактировал П. Садаяппан 2008 г. ISBN  3-540-89893-Х Страница 1
  15. ^ а б Семинары Euro-Par 2006: параллельная обработка: CoreGRID 2006 отредактировал Вольфганг Ленер 2007 ISBN  3-540-72226-2 страницы
  16. ^ Грид-вычисления: международный симпозиум по грид-вычислениям (ISGC 2007) под редакцией Стеллы Шен 2008 ISBN  0-387-78416-0 стр.170
  17. ^ Кравцов, Валентин; Кармели, Дэвид; Дубицкий, Вернер; Орда, Ариэль; Шустер, Ассаф; Йошпа, Бенни. «Квази-оппортунистические суперкомпьютеры в сетях, статья на горячие темы (2007)». Международный симпозиум IEEE по высокопроизводительным распределенным вычислениям. IEEE. Получено 4 августа 2011.
  18. ^ а б c Алгоритмы и архитектуры для параллельной обработки Ану Г. Буржуа 2008 ISBN  3-540-69500-1 страницы 234-242