Передача сообщений в компьютерных кластерах - Message passing in computer clusters

Техники, работающие в кластере, состоящем из множества компьютеров, работающих вместе отправка сообщений по сети

Передача сообщений является неотъемлемым элементом всех компьютерные кластеры. Все компьютерные кластеры, начиная от самодельных Беовульф некоторым из самых быстрых суперкомпьютеры в мире полагайтесь на передачу сообщений для координации действий множества узлов, которые они охватывают.[1][2] Передача сообщений в компьютерных кластерах, построенных на базе товаров серверы и переключатели используется практически всеми интернет-сервисами.[1]

В последнее время все большее распространение получают компьютерные кластеры с числом узлов более тысячи. По мере увеличения количества узлов в кластере из-за быстрого роста сложности подсистемы связи передача сообщений задерживается на соединять серьезная проблема с производительностью при выполнении параллельные программы.[3]

Для моделирования, визуализации и понимания производительности передачи сообщений в компьютерных кластерах могут использоваться специальные инструменты. Прежде чем будет собран большой компьютерный кластер, симулятор на основе трассировки может использовать небольшое количество узлов, чтобы помочь спрогнозировать производительность передачи сообщений в более крупных конфигурациях. После выполнения теста на небольшом количестве узлов симулятор считывает выполнение и передачу сообщений. лог-файлы и имитирует производительность подсистемы обмена сообщениями, когда между гораздо большим числом узлов обменивается гораздо больше сообщений.[4][5]

Сообщения и вычисления

Подходы к передаче сообщений

Исторически сложилось так, что двумя типичными подходами к взаимодействию между узлами кластера были PVM, Параллельная виртуальная машина и MPI, Интерфейс передачи сообщений.[6] Однако сейчас MPI стал стандартом де-факто для передачи сообщений в компьютерных кластерах.[7]

PVM предшествует MPI и был разработан в Национальная лаборатория Окриджа примерно в 1989 г. Он предоставляет набор программных библиотек, которые позволяют вычислительному узлу действовать как «параллельная виртуальная машина». Он обеспечивает среду выполнения для передачи сообщений, управления задачами и ресурсами, а также уведомления о сбоях и должен быть установлен непосредственно на каждом узле кластера. PVM может использоваться пользовательскими программами, написанными на C, C ++ или Фортран, так далее.[6][8]

В отличие от PVM, у которого есть конкретная реализация, MPI представляет собой спецификацию, а не конкретный набор библиотек. Спецификация возникла в начале 1990 года в результате обсуждений между 40 организациями, первоначальные усилия были поддержаны ARPA и Национальный научный фонд. Конструкция MPI опиралась на различные функции, доступные в коммерческих системах того времени. Затем спецификации MPI привели к конкретным реализациям. Реализации MPI обычно используют TCP / IP и розетки.[6] MPI теперь является широко доступной моделью коммуникации, которая позволяет писать параллельные программы на таких языках, как C, Фортран, Python, так далее.[8] Спецификация MPI была реализована в таких системах, как MPICH и Открыть MPI.[8][9]

Тестирование, оценка и оптимизация

В Технологический институт Вирджинии Xserve группа Компьютеры Apple

Компьютерные кластеры используют ряд стратегий для работы с распределением обработки по множеству узлов и результирующими накладными расходами на связь. Некоторые компьютерные кластеры, такие как Тяньхэ-I использовать другие процессоры для передачи сообщений, чем те, которые используются для выполнения вычислений. Tiahnhe-I использует более двух тысяч FeiTeng-1000 процессоры для улучшения работы собственной системы передачи сообщений, в то время как вычисления выполняются Xeon и Nvidia Tesla процессоры.[10][11]

Один из подходов к сокращению накладных расходов на связь - использование местных районов (также называемых локации ) под конкретные задачи. Здесь вычислительные задачи назначаются определенным «соседям» в кластере, чтобы повысить эффективность за счет использования процессоров, которые расположены ближе друг к другу.[3] Однако, учитывая, что во многих случаях реальный топология Узлы компьютерного кластера и их взаимосвязи могут быть неизвестны разработчикам приложений, попытка точной настройки производительности на уровне прикладных программ довольно сложна.[3]

Учитывая, что MPI теперь стал стандартом де-факто для компьютерных кластеров, увеличение количества узлов кластера привело к продолжению исследований по повышению эффективности и масштабируемости библиотек MPI. Эти усилия включали исследования по уменьшению объема памяти, занимаемой библиотеками MPI.[7]

С самых первых дней MPI предоставляла возможности для профилирование производительности через «систему профилирования» PMPI.[12] Использование префикса PMIPI- позволяет наблюдать точки входа и выхода для сообщений. Однако, учитывая высокоуровневый характер этого профиля, этот тип информации дает только представление о реальном поведении системы связи. Потребность в дополнительной информации привела к разработке системы MPI-Peruse. Peruse обеспечивает более подробный профиль, позволяя приложениям получать доступ к изменениям состояния в библиотеке MPI. Это достигается за счет регистрации обратных вызовов с помощью Peruse, а затем их вызова в качестве триггеров при возникновении событий сообщения.[13] Peruse может работать с системой визуализации PARAVER. PARAVER имеет два компонента: компонент трассировки и визуальный компонент для анализа трассировок, статистики, относящейся к конкретным событиям, и т. Д.[14] PARAVER может использовать форматы трассировки из других систем или выполнять собственную трассировку. Он работает на уровне задач, на уровне потоков и в гибридном формате. Следы часто включают в себя так много информации, что они часто подавляющие. Таким образом, PARAVER суммирует их, чтобы пользователи могли их визуализировать и анализировать.[13][14][15]

Анализ производительности

При большом масштабе часто суперкомпьютер На уровне параллельной системы очень важно иметь возможность экспериментировать с несколькими конфигурациями и моделировать производительность. В этом сценарии существует ряд подходов к моделированию эффективности передачи сообщений, от аналитических моделей до моделирования на основе трассировки, а некоторые подходы основаны на использовании тестовых сред, основанных на «искусственных коммуникациях» для выполнения синтетические тесты производительности передачи сообщений.[3] Такие системы как BIGSIM предоставить эти возможности, позволяя моделировать производительность на различных топологии узлов, стратегии передачи сообщений и планирования.[4]

Аналитические подходы

На аналитическом уровне необходимо смоделировать время связи T в терминах набора подкомпонентов, таких как запуск задержка, то асимптотическая ширина полосы и количество процессоров. Хорошо известной моделью является модель Хокни, которая просто опирается на связь точка-точка, используя T = L + (M / R), где M - размер сообщения, L - задержка при запуске, а R - асимптотическая пропускная способность в МБ / с.[16]

Сюй и Хван обобщили модель Хокни, включив в нее количество процессоров, так что и задержка, и асимптотическая полоса пропускания зависят от количества процессоров.[16][17] Гунаван и Кай затем обобщили это далее, введя размер кэша, и разделили сообщения на основе их размеров, получив две отдельные модели: одну для сообщений меньше размера кеша, а другую - для тех, что выше.[16]

Моделирование производительности

В IBM Roadrunner кластерный суперкомпьютер

Для моделирования и понимания производительности передачи сообщений на компьютерных кластерах могут использоваться специальные инструменты. Например, CLUSTERSIM использует визуальную среду на основе Java для дискретное моделирование. В этом подходе расчетные узлы и топология сети моделируются визуально. Вакансии, их продолжительность и сложность представлены конкретными распределения вероятностей позволяя различные параллельные планирование работы предлагаемые алгоритмы и эксперименты с ними. Накладные расходы на связь для MPI Таким образом, передачу сообщений можно смоделировать и лучше понять в контексте крупномасштабного параллельного выполнения заданий.[18]

Другие инструменты моделирования включают MPI-sim и BIGSIM.[19] MPI-Sim - это симулятор, управляемый исполнением, для работы которого требуются программы на C или C ++.[18][19] ClusterSim, с другой стороны, использует гибридную систему моделирования более высокого уровня, независимую от языка программирования, используемого для выполнения программы.[18]

В отличие от MPI-Sim, BIGSIM - это управляемая трассировкой система, которая моделирует на основе журналов выполнения, сохраненных в файлах отдельной программой-эмулятором.[5][19] BIGSIM включает эмулятор и симулятор. Эмулятор выполняет приложения на небольшом количестве узлов и сохраняет результаты, поэтому имитатор может использовать их и моделировать действия на гораздо большем количестве узлов.[5] Эмулятор хранит информацию о блоках последовательного выполнения (SEB) для нескольких процессоров в файлах журналов, причем каждый SEB записывает отправленные сообщения, их источники и назначения, зависимости, тайминги и т. Д. Симулятор считывает файлы журналов и моделирует их, и может запускать дополнительные сообщения, которые затем также сохраняются как SEB.[4][5] Таким образом, имитатор может обеспечить представление о производительности очень больших приложений на основе трассировки выполнения, предоставленной эмулятором на гораздо меньшем количестве узлов, до того, как вся машина станет доступной или настроенной.[5]

Смотрите также

использованная литература

  1. ^ а б Компьютерная организация и дизайн от Дэвид А. Паттерсон и Джон Л. Хеннесси 2011 ISBN  0123747503 стр. 641 [1]
  2. ^ Кластерные вычисления Беовульфа с Windows Томас Лоуренс Стерлинг 2001 ISBN  0262692759 MIT Press, страницы 7–9
  3. ^ а б c d Последние достижения в интерфейсе передачи сообщений Яннис Котронис, Энтони Даналис, Димитрис Николопулос и Джек Донгарра 2011 ISBN  3642244483 страницы 160–162
  4. ^ а б c Петафокальные вычисления: алгоритмы и приложения Дэвид А. Бадер, 2007 г. ISBN  1584889098 страницы 435–435
  5. ^ а б c d е Языки и компиляторы для параллельных вычислений под редакцией Кейта Купера, Джона Меллора-Крамми и Вивека Саркара, 2011 г. ISBN  3642195946 страницы 202–203
  6. ^ а б c Распределенные сервисы с OpenAFS: для предприятий и образования Франко Миликкио, Вольфганг Александр Герке 2007, стр. 339-341
  7. ^ а б Последние достижения в области параллельных виртуальных машин и интерфейса передачи сообщений Матти Ропо, Ян Вестерхольм и Джек Донгарра, 2009 г. ISBN  3642037690 стр. 231
  8. ^ а б c Грид и кластерные вычисления Дж. Прабху, 2008 г. ISBN  8120334280 страницы 109–112
  9. ^ Гропп, Уильям; Ласк, Юинг; Скьеллум, Энтони (1996). «Высокопроизводительная портативная реализация интерфейса передачи сообщений MPI». Параллельные вычисления.CS1 maint: ref = harv (ссылка на сайт)
  10. ^ Суперкомпьютер TianHe-1A: его аппаратное и программное обеспечение Сюэ-Цзюнь Янь, Сян-Кэ Ляо и др. в Журнал компьютерных наук и технологий, Volume 26, Number 3, May 2011, pages 344–351. «Архивная копия». Архивировано из оригинал на 2011-06-21. Получено 2012-02-08.CS1 maint: заархивированная копия как заголовок (ссылка на сайт)
  11. ^ США заявляют, что Китай создает суперкомпьютер `` полностью самобытный '', Патрик Тибодо Computerworld, 4 ноября 2010 г. [2]
  12. ^ Что такое PMPI?
  13. ^ а б Последние достижения в области параллельных виртуальных машин и интерфейса передачи сообщений Бернд Мор, Джеспер Ларссон Трэфф, Иоахим Ворринген и Джек Донгарра, 2006 г. ISBN  354039110X стр. 347
  14. ^ а б ПАРАВЕР: инструмент для визуализации и анализа параллельного кода Винсент Пилле и др., Материалы конференции по развитию транспьютеров и оккама, 1995 г., страницы 17–31.
  15. ^ Вычислительные науки - Iccs 2003 под редакцией Питера М.А. Слоота, Дэвида Абрамсона, Александра В. Богданова и Джека Дж. Донгарра ISBN  3540401970 стр.183
  16. ^ а б c Накладные расходы на передачу сообщений моделирования по C.Y Chou et al. in Advances in Grid and Pervasive Computing: Первая международная конференция, GPC 2006, под редакцией Йе-Чинг Чунг и Хосе Э. Морейра ISBN  3540338098 страницы 299–307
  17. ^ Высокопроизводительные вычисления и сети под редакцией Питера Слоота, Мариана Бубака и Боба Херцберге 1998 г. ISBN  3540644431 стр. 935
  18. ^ а б c Высокопроизводительные вычислительные науки и инженерия под редакцией Майкла К. Нг, Андрея Донческу, Лоуренса Т. Янга и Тау Ленга, 2005 г. ISBN  0387240489 страницы 59–63
  19. ^ а б c Достижения в области компьютерных наук, окружающей среды, экоформатики и образования под редакцией Сун Линь и Сюн Хуанг 2011 ISBN  3642233236 стр.16