InfiniBand - InfiniBand

InfiniBand (IB) - это стандарт компьютерных сетевых коммуникаций, используемый в высокопроизводительные вычисления это очень высокий пропускная способность и очень низкий задержка. Он используется для передачи данных между компьютерами и внутри них. InfiniBand также используется как прямое или переключаемое соединение между серверами и системами хранения, а также как соединение между системами хранения. Он предназначен для масштабируемый и использует коммутируемая ткань топология сети.

По состоянию на 2014 г., это было наиболее часто используемым межсоединением в суперкомпьютерах. Mellanox производит InfiniBand адаптеры главной шины и сетевые коммутаторы, а в феврале 2016 г. сообщалось, что Корпорация Oracle разработала собственные коммутаторы InfiniBand и микросхемы серверных адаптеров для использования в собственных линейках продуктов и третьими сторонами.[1] Карты Mellanox IB доступны для Солярис, FreeBSD,[2][3] RHEL, SLES, Windows, HP-UX, VMware ESX,[4] и AIX.[5]

Как межсоединение IB конкурирует с Ethernet, Fibre Channel, и Intel Омни-Путь.

Технология продвигается Торговая ассоциация InfiniBand.

Технические характеристики

Спектакль

Характеристики
 SDRDDRQDRFDR10FDREDRHDRОтчет о недоставкеXDR
Скорость передачи (Гбит / с)0002.5000500100010.31250014.0625[6]0025.78125005001000250
Теоретическая
эффективный
пропускная способность
(Гбит / с )[7]		для 01 ссылкаs00020004000800100013.640025005001000250
для 04 ссылки00080016003200400054.540100020004001000
для 08 ссылок00160032006400800109.080200040008002000
для 12 ссылок00240048009601200163.640300060012003000
Кодировка (биты )8b / 10b64b / 66bt.b.d.t.b.d.
Задержка адаптера (мкс )[8]00050002.50001.30000.70000.70000.5Меньше?t.b.d.t.b.d.
Год[9]2001, 200320052007201120112014[7]2017[7]после 2020после 2023 г.?

Ссылки можно агрегировать: в большинстве систем используется 4-кратное агрегирование. Ссылки 8 × и 12 × обычно используются для кластер и суперкомпьютер межблочные и межблочныепереключатель соединения.

InfiniBand также предоставляет RDMA возможности для снижения нагрузки на ЦП.

Топология

InfiniBand использует коммутируемая ткань топология, в отличие от ранней общей среды Ethernet. Все передачи начинаются или заканчиваются на адаптере канала. Каждый процессор содержит адаптер канала хоста (HCA), а каждое периферийное устройство имеет адаптер целевого канала (TCA). Эти адаптеры также могут обмениваться информацией в целях безопасности или качество обслуживания (QoS).

Сообщения

InfiniBand передает данные пакетами размером до 4 КБ, которые собираются вместе для формирования сообщения. Сообщение может быть:

Физическое соединение

Коммутатор InfiniBand с разъемами CX4 / SFF-8470

Помимо подключения форм-фактора платы, он может использовать как активную, так и пассивную медь (до 10 метров) и оптоволоконный кабель (до 10 км).[10] QSFP разъемы используются.

Ассоциация InfiniBand также указала CXP система разъемов для скоростей до 120 Гбит / с по медным, активным оптическим кабелям и оптическим трансиверам с использованием параллельных многомодовых оптоволоконных кабелей с 24-волоконными разъемами MPO.[нужна цитата ]

API

InfiniBand не имеет стандарта API. В стандарте перечислен только набор глаголов, например ibv_open_device или ibv_post_send, которые являются абстрактными представлениями функций или методов, которые должны существовать. Синтаксис этих функций оставлен на усмотрение поставщиков. Иногда для справки это называется глаголы API. Стандартный программный стек de facto разработан Альянс OpenFabrics. Выпускается под двумя лицензиями GPL2 или Лицензия BSD для GNU / Linux и FreeBSD, а также как Mellanox OFED для Windows (названия продуктов: WinOF / WinOF-2; атрибутируется как драйвер хост-контроллера для сопоставления конкретных устройств ConnectX 3–5)[11] по выбору лицензии BSD для Windows. Он был принят большинством поставщиков InfiniBand для GNU /Linux, FreeBSD, и Windows. IBM заявляет об этом в своем центре знаний на глаголы API:

An AIX ® приложение может определять API глаголов, который является либо Open Fabrics Enterprise Distribution (OFED ) или AIX InfiniBand (IB), которые должны связываться с определенным адресатом.[12]

В презентации Mellanox Technologies, датированной 2014 годом, с заголовком «Учебник по программированию глаголов» на странице 31 говорится:[13]

  • libibverbs, разработанные и поддерживаемые Roland Dreier с 2006 года, де-факто являются стандартом API глаголов в * nix
    • Разработан как Открытый исходный код
    • Ядро части глаголов интегрировано в Ядро Linux с 2005 г. - ядро ​​2.6.11
    • Входящие в нескольких дистрибутивах * nix
    • Существуют низкоуровневые библиотеки от нескольких поставщиков аппаратного обеспечения.

История

InfiniBand возник в 1999 году в результате слияния двух конкурирующих проектов: Future I / O и Next Generation I / O. Это привело к созданию InfiniBand Trade Association (IBTA), в которую вошли Compaq, Dell, Hewlett Packard, IBM, Intel, Microsoft, и солнце. В то время считалось, что некоторые из более мощных компьютеров приближаются к узкое место в межсоединении из PCI автобус, несмотря на обновления вроде PCI-X.[14] Версия 1.0 спецификации архитектуры InfiniBand была выпущена в 2000 году. Первоначально видение IBTA для IB было одновременно заменой PCI в вводе / выводе, Ethernet в машинное отделение, кластер соединить и Fibre Channel. IBTA также предусмотрела декомпозицию серверного оборудования на IB. ткань. После всплеска пузырь доткомов В отрасли не решались вкладывать средства в такой далеко идущий технологический скачок.[15]

Лента новостей

  • 2001: Mellanox поставляет устройства InfiniBridge 10 Гбит / с и поставляет более 10 000 портов InfiniBand.[16]
  • 2002: внедрение терпит неудачу, когда Intel объявляет, что вместо поставки чипов IB она сосредоточится на разработке PCI Express, а Microsoft прекращает разработку IB в пользу расширения Ethernet, хотя Sun и Hitachi продолжать поддерживать ИБ.[17]
  • 2003: Технологический институт Вирджинии строит кластер InfiniBand, занимающий третье место в рейтинге Топ500 в это время.
  • 2004: IB начинает рассматривать внедрение как кластерное межсоединение, превосходящее Ethernet по задержкам и цене.[15] В Альянс OpenFabrics разрабатывает стандартизированный программный стек InfiniBand на базе Linux. В следующем году Linux добавляет поддержку IB.[18]
  • 2005: IB начинает реализовываться как межсоединение для устройств хранения.[19]
  • 2009 г .: из 500 лучших суперкомпьютеров в мире Gigabit Ethernet является внутренней технологией межсоединений в 259 установках по сравнению с 181, использующим InfiniBand.[20]
  • 2010: Лидеры рынка Mellanox и Voltaire объединяются, в результате чего остается только один поставщик IB. QLogic, прежде всего поставщик Fibre Channel.[21] Oracle делает крупные инвестиции в Mellanox.
  • 2011: Коммутаторы и адаптеры FDR анонсированы на Международная конференция по суперкомпьютерам.[22]
  • 2012: Intel приобретает технологию InfiniBand от QLogic.[23]
  • 2016: Корпорация Oracle производит собственные межкомпонентные микросхемы и блоки коммутации InfiniBand.[24]
  • 2019: Nvidia приобрел Mellanox за 6,9 млрд долларов[25]

Ethernet через InfiniBand

Ethernet через InfiniBand, сокращенно EoIB, представляет собой реализацию Ethernet по протоколу InfiniBand и технологии соединителей.

EoIB обеспечивает несколько полос пропускания Ethernet, различающихся в версии InfiniBand (IB).

Реализация Ethernet Пакет Интернет-протокола, обычно называемый TCP / IP, отличается от некоторых реализаций, используемых поверх протокола InfiniBand в IP over IB (IPoIB).

Производительность Ethernet через InfiniBand
ТипПереулкиПропускная способность (Гбит / с)Совместимый тип (ы) EthernetСовместимое количество Ethernet
SDR0010002.5GbE до 2,5 GbE0От 2 x GbE до 1 x 02,5 Гбит / с
0040010GbE на 10 GbEОт 10 x GbE до 1 x 10 GbE
0080020GbE на 10 GbEОт 20 x GbE до 2 x 10 GbE
0120030GbE на 25 GbEОт 30 x GbE до 1 x 25 GbE + 1 x 05 GbE
DDR0010005GbE до 5 GbE0От 5 x GbE до 1 x 05 GbE
0040020GbE на 10 GbEОт 20 x GbE до 2 x 10 GbE
0080040GbE на 40 GbEОт 40 x GbE до 1 x 40 GbE
0120060GbE на 50 GbEОт 60 x GbE до 1 x 50 GbE + 1 x 10 GbE
QDR0010010GbE на 10 GbEОт 10 x GbE до 1 x 10 GbE
0040040GbE на 40 GbEОт 40 x GbE до 1 x 40 GbE

Смотрите также

использованная литература

  1. ^ «Oracle разрабатывает собственные межкомпонентные соединения InfiniBand». 23 февраля 2016.
  2. ^ «Mellanox OFED для FreeBSD». Mellanox. Получено 19 сентября 2018.
  3. ^ Mellanox Technologies (3 декабря 2015 г.). "Руководство по интерфейсам ядра FreeBSD, mlx5en". Страницы руководства FreeBSD. FreeBSD. Получено 19 сентября 2018.
  4. ^ «Карты InfiniBand - Обзор». Mellanox. Получено 30 июля 2014.
  5. ^ «Внедрение InfiniBand в IBM System p (IBM Redbook SG24-7351-00)» (PDF).
  6. ^ https://cw.infinibandta.org/document/dl/7260
  7. ^ а б c «Архивная копия». Архивировано из оригинал на 2011-09-29. Получено 2009-10-27.CS1 maint: заархивированная копия как заголовок (ссылка на сайт)
  8. ^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf // Mellanox
  9. ^ Панда, Дхабалешвар К .; Саянтан Сур (2011). «Ускорение скорости сети с помощью IB и HSE» (PDF). Проектирование облачных и сетевых вычислительных систем с InfiniBand и высокоскоростным Ethernet. Ньюпорт-Бич, Калифорния, США: CCGrid 2011. стр. 23. Получено 13 сентября 2014.
  10. ^ «Спецификация FAQ». ITA. Архивировано из оригинал 24 ноября 2016 г.. Получено 30 июля 2014.
  11. ^ Mellanox OFED для Windows - WinOF / WinOF-2
  12. ^ API глаголов
  13. ^ Учебник по программированию глаголов
  14. ^ Пентакалос, Одиссей. «Введение в архитектуру InfiniBand». О'Рейли. Получено 28 июля 2014.
  15. ^ а б Ким, Тед. «Краткая история InfiniBand: шумиха к прагматизму». Oracle. Архивировано из оригинал 8 августа 2014 г.. Получено 28 июля 2014.
  16. ^ "Лента новостей". Mellanox Technologies. Получено 28 июля 2014.
  17. ^ «Sun подтверждает приверженность InfiniBand». Реестр. Получено 28 июля 2014.
  18. ^ «Ядро Linux 2.6.11 поддерживает InfiniBand». Получено 29 июля 2014.
  19. ^ "InfiniBand готов к возвращению?", Информационный центр, 10 (2)
  20. ^ Лоусон, Стивен. «Два конкурирующих суперкомпьютера побеждают за первое место». КОМПЬЮТЕРНЫЙ МИР. Получено 29 июля 2014.
  21. ^ Раффо, Дэйв. «Крупнейшие поставщики InfiniBand объединяются; конвергентные сети на глаз». Получено 29 июля 2014.
  22. ^ "Mellanox демонстрирует улучшенную версию InfiniBand". ИТ-директор. 20 июня 2011 г.. Получено 1 августа 2011.
  23. ^ «Intel внедряет технологию InfiniBand, линейку продуктов от QLogic». HPCwire. 23 января 2012 г.. Получено 2012-01-27.
  24. ^ «Oracle разрабатывает собственные межкомпонентные соединения InfiniBand». Следующая платформа. Получено 2016-02-24.
  25. ^ https://nvidianews.nvidia.com/news/nvidia-to-acquire-mellanox-for-6-9-billion

внешние ссылки