Симулятор Земли - Википедия - Earth Simulator

Earth Simulator (ES), оригинальная версия
Стойка подключения Earth Simulator
Стойка для обработки данных Earth Simulator
Модуль арифметической обработки Earth Simulator
Симулятор Земли 2 (ES2)
Симулятор Земли 3 (ES3)

В Симулятор Земли (ES) (地球 シ ミ ュ レ ー タ, Тикью Шимюрета), разработанный в рамках инициативы правительства Японии "Earth Simulator Project", был очень параллельным вектором суперкомпьютер система для бега глобальные климатические модели оценить последствия глобального потепления и проблемы геофизики твердых тел. Система разработана для Японское агентство аэрокосмических исследований, Японский научно-исследовательский институт атомной энергии, и Японский центр морской науки и технологий (JAMSTEC) в 1997 году. Строительство началось в октябре 1999 года, и площадка была официально открыта 11 марта 2002 года. Стоимость проекта 60 миллиардов. иена.

Построен NEC, ES был основан на их SX-6 архитектура. Он состоял из 640 узлов с восемью векторные процессоры и 16 гигабайты из память компьютера на каждом узле, всего 5120 процессоры и 10 терабайты памяти. Два узла были установлены на шкаф размером 1 метр × 1,4 метра × 2 метра. Каждый шкаф потреблял 20 кВт мощности. В системе было 700 терабайты из дисковое хранилище (450 для системы и 250 для пользователей) и 1,6 петабайты из массовое хранилище в ленточные накопители. Он смог провести комплексное моделирование глобального климата как в атмосфере, так и в океанах с разрешением до 10 км. Его производительность на LINPACK ориентир был 35,86 TFLOPS, который был почти в пять раз быстрее, чем предыдущий самый быстрый суперкомпьютер, ASCI Белый. По состоянию на 2020 год сопоставимая производительность может быть достигнута при использовании 4 графических процессоров Nvidia A100, каждый с 9,746 FP64 TFlops.[1]

ES был самый быстрый суперкомпьютер в мире с 2002 по 2004 год. Его мощность превышала IBM с Синий Джин / L прототип 29 сентября 2004 г.

ES был заменен на Earth Simulator 2 (ES2) в марте 2009 года.[2] ES2 - это NEC SX-9 / E система и имеет в четверть меньше узлов, каждый из которых в 12,8 раза выше производительности (3,2 × тактовой частоты, в четыре раза больше ресурсов обработки на узел), что обеспечивает пиковую производительность 131 терафлопс. С доставленной производительностью LINPACK 122,4 терафлопс,[3] ES2 на тот момент был самым эффективным суперкомпьютером в мире. В ноябре 2010 года NEC объявила, что ES2 превзошел Global FFT, что является одним из показателей Награды HPC Challenge, с производительностью 11,876 терафлопс.[4]

ES2 был заменен Earth Simulator 3 (ES3) в марте 2015 года. ES3 - это NEC SX-ACE система с 5120 узлами и производительностью 1,3 PFLOPS.[5]

ES3 с 2017 по 2018 год работал вместе с Gyoukou, суперкомпьютер с иммерсионным охлаждением, обеспечивающий производительность до 19 PFLOPS.

Системный Обзор

Аппаратное обеспечение

Симулятор Земли (сокращенно ES) был разработан как национальный проект тремя правительственными агентствами: Национальное агентство космического развития Японии (NASDA), Японский научно-исследовательский институт атомной энергии (JAERI) и Японский центр морских наук и технологий (JAMSTEC). ES размещается в здании Earth Simulator (примерно 50 × 65 × 17 м). Earth Simulator 2 (ES2) использует 160 узлов NEC SX-9E. Обновление Earth Simulator было завершено в марте 2015 года. Система Earth Simulator 3 (ES3) использует 5120 узлов SX-ACE от NEC.

Конфигурация системы

ES - это высокопараллельная векторная суперкомпьютерная система с распределенной памятью, состоящая из 160 узлы процессора связаны сетью Fat-Tree Network. Каждый процессорный узел представляет собой систему с общей памятью, состоящую из 8 арифметических процессоров векторного типа, системы основной памяти объемом 128 ГБ. Пиковая производительность каждого арифметического процессора составляет 102,4 Гфлопс. Таким образом, ES в целом состоит из 1280 арифметических процессоров с 20 ТБ оперативной памяти и теоретической производительностью 131 Тфлопс.

Строительство ЦП

Каждый ЦП состоит из четырехканального суперскалярного блока (SU), векторного блока (VU) и блока управления доступом к основной памяти на одной микросхеме LSI. Процессор работает на тактовой частоте 3,2 ГГц. Каждый VU имеет 72 векторных регистра, каждый из которых имеет 256 векторных элементов, а также 8 наборов из шести различных типов векторных конвейеров: сложение / сдвиг, умножение, деление, логические операции, маскирование и загрузка / сохранение. Один и тот же тип векторных конвейеров работает вместе с помощью одной векторной инструкции, а конвейеры разных типов могут работать одновременно.

Узел процессора (PN)

Узел процессора состоит из 8 модулей ЦП и 10 модулей памяти.

Межсетевое соединение (IN)

RCU напрямую подключен к кроссбарным переключателям и управляет обменом данными между узлами со скоростью двунаправленной передачи 64 ГБ / с как для отправки, так и для приема данных. Таким образом, общая пропускная способность межузловой сети составляет около 10 ТБ / с.

Шкаф процессорного узла (PN)

Узел процессора состоит из двух узлов одного шкафа и состоит из блока питания 8 модулей памяти и блока PCI с 8 модулями ЦП.

Программного обеспечения

Ниже приводится описание программных технологий, используемых в операционной системе, планировании заданий и среде программирования ES2.

Операционная система

Основная статья: SUPER-UX

Операционная система, работающая на ES, «Операционная система Earth Simulator», является специальной версией NEC SUPER-UX используется для NEC SX суперкомпьютеры, составляющие ES.

Файловая система запоминающего устройства

Если большое параллельное задание, выполняющееся на 640 PN, считывает / записывает на один диск, установленный в PN, каждый PN обращается к диску последовательно, и производительность резко падает. Хотя локальный ввод-вывод, при котором каждый PN считывает или записывает на свой диск, решает проблему, управлять таким большим количеством частичных файлов - очень сложная работа. Затем ES использует промежуточную и глобальную файловую систему (GFS), которая обеспечивает высокую скорость ввода-вывода.

Планирование работы

ES - это в основном система пакетных заданий. Сетевая система очередей II (NQSII) вводится для управления пакетным заданием. Конфигурация очереди в Earth Simulator.ES имеет очереди двух типов. Пакетная очередь S предназначена для пакетных заданий с одним узлом, а пакетная очередь L предназначена для пакетной очереди с несколькими узлами. Существуют очереди двух типов. Один - это пакетная очередь L, а другой - пакетная очередь S. Пакетная очередь S предназначена для использования для предварительного или последующего выполнения крупномасштабных пакетных заданий (создание исходных данных, обработка результатов моделирования и других процессов), а пакетная очередь L предназначена для производственного цикла. Пользователи выбирают соответствующую очередь для своей работы.

  1. Узлы, выделенные для пакетного задания, используются исключительно для этого пакетного задания.
  2. Пакетное задание планируется на основе прошедшего времени, а не процессора.

Стратегия (1) позволяет оценить время завершения задания и упростить предварительное выделение узлов для следующих пакетных заданий. Стратегия (2) способствует эффективному выполнению работы. Задание может использовать только узлы, и процессы в каждом узле могут выполняться одновременно. В результате крупномасштабная параллельная программа может быть выполнена эффективно. PN L-системы запрещен доступ к пользовательскому диску, чтобы обеспечить достаточную производительность дискового ввода-вывода. поэтому файлы, используемые пакетным заданием, копируются с пользовательского диска на рабочий диск перед выполнением задания. Этот процесс называется «стадией». Важно скрыть это время подготовки для планирования заданий. Основные этапы планирования заданий резюмируются следующим образом;

  1. Размещение узлов
  2. Stage-in (автоматически копирует файлы с пользовательского диска на рабочий)
  3. Эскалация задания (если возможно, изменение расписания на более раннее расчетное время начала)
  4. Выполнение работы
  5. Поступление (автоматически копирует файлы с рабочего диска на диск пользователя)

Когда отправляется новое пакетное задание, планировщик ищет доступные узлы (шаг 1). После того, как узлы и расчетное время начала будут выделены для пакетного задания, начинается процесс поэтапной обработки (шаг 2). Задание ожидает, пока не завершится расчетное время начала после завершения поэтапного процесса. Если планировщик обнаруживает более раннее время начала, чем предполагаемое время начала, он назначает новое время запуска пакетному заданию. Этот процесс называется «Эскалация вакансии» (Шаг 3). Когда наступит расчетное время начала, планировщик выполняет пакетное задание (шаг 4). Планировщик завершает пакетное задание и запускает поэтапный процесс после завершения выполнения задания или истечения заявленного истекшего времени (шаг 5). Для выполнения пакетного задания пользователь входит на сервер входа и отправляет пакетный сценарий пальцы ног. И пользователь ждет, пока выполнение задания не будет завершено. В течение этого времени пользователь может видеть состояние пакетного задания с помощью обычного веб-браузера или команд пользователя. Планирование узлов, размещение файлов и другая обработка автоматически обрабатываются системой в соответствии с пакетным сценарием.

Среда программирования

Модель программирования в ES

Аппаратное обеспечение ES имеет трехуровневую иерархию параллелизма: векторная обработка в AP, параллельная обработка с общей памятью в PN и параллельная обработка между PN через IN. Чтобы полностью реализовать высокую производительность ES, вы должны разрабатывать параллельные программы, максимально использующие такой параллелизм. Трехуровневая иерархия параллелизма ES может использоваться двумя способами, которые называются гибридным и плоским распараллеливанием соответственно. В гибридном распараллеливании межузловой параллелизм выражается HPF или MPI, а внутриузловой - микрозадачностью или OpenMP, и поэтому вы должны учитывать иерархический параллелизм при написании ваших программ. При плоском распараллеливании как межузловой, так и внутриузловой параллелизм может быть выражен посредством HPF или MPI, и вам не обязательно рассматривать такой сложный параллелизм. Вообще говоря, гибридное распараллеливание превосходит плоское по производительности и, наоборот, по простоте программирования. Обратите внимание, что библиотеки MPI и среды выполнения HPF оптимизированы для максимальной производительности как при гибридном, так и при плоском распараллеливании.

Языки

Доступны компиляторы для Fortran 90, C и C ++. Все они обладают расширенными возможностями автоматическая векторизация и микрозадачи. Микрозадачность - это разновидность многозадачности, которая одновременно предоставляется суперкомпьютеру Cray и также используется для внутриузлового распараллеливания на ES. Микрозадачностью можно управлять, вставляя директивы в исходные программы или используя автоматическое распараллеливание компилятора. (Обратите внимание, что OpenMP также доступен в Fortran 90 и C ++ для внутриузлового распараллеливания.)

Распараллеливание

Интерфейс передачи сообщений (MPI)

MPI - это библиотека передачи сообщений, основанная на стандартах MPI-1 и MPI-2 и обеспечивающая возможность высокоскоростной связи, которая полностью использует возможности IXS и разделяемой памяти. Его можно использовать как для внутриузлового, так и для межузлового распараллеливания. Процесс MPI назначается AP при плоском распараллеливании или PN, который содержит микрозадачи или потоки OpenMP при гибридном распараллеливании. Библиотеки MPI спроектированы и тщательно оптимизированы для достижения наивысшей производительности связи в архитектуре ES как при распараллеливании.

Высокопроизводительный Fortrans (HPF)

Основными пользователями ES считаются естествоиспытатели, которые не обязательно знакомы с параллельным программированием или, скорее, не любят его. Соответственно, высокоуровневый параллельный язык пользуется большим спросом. HPF / SX обеспечивает простое и эффективное параллельное программирование на ES для удовлетворения спроса. Он поддерживает спецификации HPF2.0, его утвержденных расширений, HPF / JA и некоторых уникальных расширений для ES.

Инструменты

-Интегрированная среда разработки (PSUITE)

Интегрированная среда разработки (PSUITE) - это интеграция различных инструментов для разработки программы, работающей на SUPER-UX. Поскольку PSUITE предполагает, что различные инструменты могут использоваться графическим интерфейсом пользователя, и имеет скоординированную функцию между инструментами, он дает возможность разрабатывать программу более эффективно и легко, чем метод разработки предыдущей программы.

-Поддержка отладки

В SUPER-UX следующие функции подготовлены как сильные функции поддержки отладки для поддержки разработки программы.

Удобства

Особенности постройки Earth Simulator

Защита от стихийных бедствий

Центр моделирования Земли имеет несколько специальных функций, которые помогают защитить компьютер от стихийных бедствий или происшествий. Над зданием нависает проволочное гнездо, которое защищает от молнии. В самом гнезде используются экранированные высоковольтные кабели для отвода тока молнии в землю. В специальной системе распространения света используются галогенные лампы, установленные за экранированными стенами машинного зала, чтобы предотвратить попадание магнитных помех на компьютеры. Здание построено на системе сейсмоизоляции, состоящей из резиновых опор, которые защищают здание во время землетрясений.

Система молниезащиты

Три основных функции:

  • Четыре опоры с обеих сторон здания имитатора Земли составляют гнездо для проводов, чтобы защитить здание от ударов молнии.
  • В качестве индуктивного провода используется специальный экранированный высоковольтный кабель, который передает ток молнии в землю.
  • Плиты грунта укладываются на расстоянии около 10 метров от здания.

Освещение

Освещение: Система распространения света внутри трубы (диаметр 255 мм, длина 44 м (49 ярдов), 19 трубок) Источник света: галогенные лампы мощностью 1 кВт Освещение: в среднем 300 лк на полу Источники света устанавливаются из экранированных стен машинного помещения.

Система сейсмоизоляции

11 изоляторов (1 фут высотой, 3,3 фута диаметром, 20-слойная резина, поддерживающая основание здания ES)

Спектакль

LINPACK

Новая система Earth Simulator, начавшая работу в марте 2009 года, достигла стабильной производительности 122,4 терафлопс и вычислительной эффективности (* 2) 93,38% по тесту LINPACK Benchmark (* 1).

  • 1. Тест LINPACK

Тест LINPACK Benchmark является мерой производительности компьютера и используется в качестве стандартного теста для ранжирования компьютерных систем в проекте TOP500. LINPACK - это программа для выполнения числовой линейной алгебры на компьютерах.

  • 2. Вычислительная эффективность

Эффективность вычислений - это соотношение стабильной производительности к максимальной производительности вычислений. Здесь это соотношение 122,4TFLOPS к 131,072TFLOPS.

Вычислительная производительность WRF on Earth Simulator

WRF (Модель исследования и прогнозирования погоды) - это мезомасштабный код для моделирования метеорологии, который был разработан в сотрудничестве между учреждениями США, включая NCAR (Национальный центр атмосферных исследований) и NCEP (Национальные центры прогнозирования окружающей среды). Компания JAMSTEC оптимизировала WRFV2 на симуляторе Земли (ES2), обновленном в 2009 году, с целью измерения вычислительной мощности. В результате было успешно продемонстрировано, что WRFV2 может работать на ES2 с выдающейся и устойчивой производительностью.

Численное метеорологическое моделирование проводилось с использованием WRF на симуляторе Земли для полушария Земли с условием модели Nature Run. Пространственное разрешение модели составляет 4486 на 4486 пикселей по горизонтали с шагом сетки 5 км и 101 уровнем по вертикали. В основном применялись адиабатические условия с шагом интегрирования по времени 6 секунд. Очень высокая производительность на симуляторе Земли была достигнута для WRF с высоким разрешением. Хотя количество используемых ядер ЦП составляет всего 1% по сравнению с самой быстрой системой класса Jaguar (CRAY XT5) в Национальной лаборатории Ок-Ридж, стабильная производительность, полученная на Earth Simulator, составляет почти 50% от измеренной в системе Jaguar. Коэффициент максимальной производительности на симуляторе Земли также является рекордным - 22,2%.

Смотрите также

Рекомендации

  1. ^ https://www.techpowerup.com/gpu-specs/a100-sxm4.c3506
  2. ^ «Симулятор Земли Японии 2 открыт для бизнеса». 1 марта 2009 г.
  3. ^ «Обновление Earth Simulator побило рекорд эффективности». 5 июня 2009 г.
  4. ^ ""Earth Simulator "занимает первое место в конкурсе HPC Challenge Awards". 17 ноября 2010 г.
  5. ^ CEIST, JAMSTEC. «СИМУЛЯТОР ЗЕМЛИ». www.jamstec.go.jp.
  • Сато, Тэцуя (2004). «Симулятор Земли: роли и последствия». Nuclear Physics B: Proceedings Supplements. 129: 102. Дои:10.1016 / S0920-5632 (03) 02511-8.

внешняя ссылка

Записи
Предшествует
ASCI Белый
7,226 терафлопс		 Самый мощный суперкомпьютер в мире
Март 2002 г. - ноябрь 2004 г.		Преемник
Синий Джин / L
70,72 терафлопс

Координаты: 35 ° 22′51 ″ с.ш. 139 ° 37′34,8 ″ в.д. / 35.38083 ° с.ш.139.626333 ° в. / 35.38083; 139.626333