Блок тензорной обработки - Tensor Processing Unit

Эта статья о модуле обработки тензора, разработанном Google. Для других устройств, обеспечивающих тензорную обработку для искусственного интеллекта, см. AI-ускоритель.
Блок тензорной обработки
ДизайнерGoogle
ВведеноМай 2016
ТипНейронная сеть
Машинное обучение
Блок тензорной обработки 3.0
Блок тензорной обработки 3.0

Блок тензорной обработки (ТПУ) является AI-ускоритель специализированная интегральная схема (ASIC) разработан Google специально для нейронная сеть машинное обучение, в частности, используя собственные TensorFlow программного обеспечения.[1] Google начал использовать TPU внутри компании в 2015 году, а в 2018 году сделал их доступными для использования третьими сторонами, как в рамках своей облачной инфраструктуры, так и предлагая меньшую версию чипа для продажи.

Обзор

Блок обработки тензора был анонсирован в мае 2016 г. Google I / O, когда компания заявила, что ТПУ уже использовался внутри их дата-центры больше года.[2][3] Чип был специально разработан для Google TensorFlow framework, символьная математическая библиотека, которая используется для машинное обучение такие приложения, как нейронные сети.[4] Однако по состоянию на 2017 год Google все еще использовал Процессоры и GPU для других типов машинное обучение.[2] Другой AI-ускоритель дизайны появляются и от других поставщиков и нацелены на встроенный и робототехника рынки.

TPU от Google являются проприетарными. Некоторые модели доступны в продаже, и 12 февраля 2018 г. Нью-Йорк Таймс сообщил, что Google «позволит другим компаниям покупать доступ к этим чипам через свою службу облачных вычислений».[5] Google заявил, что они использовались в AlphaGo против Ли Седола серия человек-машина Идти игры[3] а также в AlphaZero система, которая произвела Шахматы, Сёги и Go, играя в программы только на основании правил игры, и впоследствии превзошли ведущие программы в этих играх.[6] Google также использовал TPU для Google Street View обработки текста и смог найти весь текст в базе данных Street View менее чем за пять дней. В Google Фото, отдельный ТПУ может обрабатывать более 100 миллионов фотографий в день. Он также используется в RankBrain которые Google использует для предоставления результатов поиска.[7]

По сравнению с графический процессор, он разработан для большого объема вычислений с низкой точностью (например, всего лишь 8 бит точность)[8] с большим количеством операций ввода / вывода на джоуль, и отсутствует оборудование для растеризации /наложение текстуры.[3] ТПУ ASIC смонтированы в радиаторе, который может поместиться в слот жесткого диска в центре обработки данных. стойка, согласно с Норман Джуппи.[2]

Продукты

TPUv1TPUv2TPUv3TPUv4[9]Edge v1
Дата появления20162017201820202018
Узел процесса28 нм20 нм?12 нм??
Размер матрицы (мм2)331???
Встроенная память (МиБ)28???
Тактовая частота (МГц)700???
Память (ГБ)8 ГБ DDR316 ГБ HBM32 ГБ HBM?
Расчетная мощность (Вт)40200250?2
ТОПЫ234590?4

ТПУ первого поколения

ТПУ первого поколения - это 8 бит матричное умножение двигатель, приводимый в движение Инструкции CISC хост-процессором через PCIe 3.0 автобус. Изготовлен на 28 нм процесс с размером матрицы ≤ 331мм2. В Тактовая частота 700МГц и у него есть Тепловая схема питания из 28–40W. Имеет 28МиБ встроенной памяти и 4МиБ из 32-битный аккумуляторы взяв результаты 256 × 256 систолический массив 8-битного множители.[10] В пакете TPU 8ГиБ из двойной канал 2133 МГц DDR3 SDRAM предлагая пропускную способность 34 ГБ / с.[11] Команды передают данные на хост или с него, выполняют матричное умножение или извилины, и применить функции активации.[10]

ТПУ второго поколения

ТПУ второго поколения было анонсировано в мае 2017 года.[12] Google заявил, что дизайн TPU первого поколения был ограничен пропускная способность памяти и используя 16 ГБ из Память с высокой пропускной способностью во втором поколении увеличена пропускная способность до 600 ГБ / с и производительность до 45 тераФЛОПЫ.[11] Затем TPU объединяются в четырехчиповые модули с производительностью 180 терафлопс.[12] Затем 64 из этих модулей собираются в блоки с 256 микросхемами с производительностью 11,5 петафлопс.[12] Примечательно, что в то время как TPU первого поколения были ограничены целыми числами, TPU второго поколения также могут рассчитывать в плавающая точка. Это делает TPU второго поколения полезными как для обучения, так и для вывода моделей машинного обучения. Google заявила, что эти TPU второго поколения будут доступны на Google Compute Engine для использования в приложениях TensorFlow.[13]

ТПУ третьего поколения

ТПУ третьего поколения анонсировали 8 мая 2018 года.[14] Google объявила, что сами процессоры вдвое мощнее TPU второго поколения и будут развертываться в модулях с в четыре раза большим количеством микросхем, чем предыдущее поколение.[15][16] Это приводит к 8-кратному увеличению производительности на модуль (до 1024 чипов на модуль) по сравнению с развертыванием TPU второго поколения.

Edge TPU

В июле 2018 года Google анонсировал Edge TPU. Edge TPU - это специально разработанный Google ASIC чип, предназначенный для запуска моделей машинного обучения (ML) для периферийные вычисления, что означает, что он намного меньше и потребляет гораздо меньше энергии по сравнению с TPU, размещенными в центрах обработки данных Google (также известных как Облачные TPU ). В январе 2019 года Google сделал Edge TPU доступным для разработчиков с линейкой продуктов под Коралловый бренд. Edge TPU способен выполнять 4 триллиона операций в секунду при использовании 2 Вт.[17]

Предлагаемые продукты включают одноплатный компьютер (SBC), а система на модуле (SoM), а USB аксессуар, мини PCI-e карта и M.2 карта. В SBC Совет разработчиков Coral и Коралловый SoM оба работают под управлением ОС Mendel Linux - производной от Debian. Продукты USB, PCI-e и M.2 функционируют как надстройки к существующим компьютерным системам и поддерживают системы Linux на базе Debian на хостах x86-64 и ARM64 (включая Raspberry Pi ).

Среда выполнения машинного обучения, используемая для выполнения моделей на Edge TPU, основана на TensorFlow Lite.[18] Edge TPU способен только ускорять операции прямого прохода, что означает, что он в первую очередь полезен для выполнения выводов (хотя можно выполнять упрощенное обучение передачи на Edge TPU.[19]). Edge TPU также поддерживает только 8-битную математику, а это означает, что для обеспечения совместимости сети с Edge TPU ее необходимо обучить с помощью TensorFlow. обучение с учетом квантования техники, или с конца 2019 года также можно использовать посттренировочное квантование.

12 ноября 2019 г. Asus объявил пару одноплатный компьютер (SBC) с Edge TPU. В Плата Asus Tinker Edge T и Tinker Edge R предназначен для Интернет вещей и край AI. Поддержка SBC Android и Debian операционные системы.[20][21] ASUS также продемонстрировала мини-ПК Asus PN60T с Edge TPU.[22]

2 января 2020 года Google анонсировал модуль Coral Accelerator и Coral Dev Board Mini, которые будут продемонстрированы на Выставка CES 2020 позже в том же месяце. Модуль Coral Accelerator - это многокристальный модуль с интерфейсами Edge TPU, PCIe и USB для упрощения интеграции. Coral Dev Board Mini меньше SBC с модулем Coral Accelerator и MediaTek 8167s SoC.[23][24]

Пиксельное нейронное ядро

15 октября 2019 года Google объявил Пиксель 4 смартфон с Пиксельное нейронное ядро, который содержит экземпляр архитектуры Edge TPU.[25]

Смотрите также

использованная литература

  1. ^ "Блоки обработки тензорных облаков (TPU)". Google Cloud. Получено 20 июля 2020.
  2. ^ а б c «Tensor Processing Unit Google объяснил: так выглядит будущее вычислений». TechRadar. Получено 2017-01-19.
  3. ^ а б c Джуппи, Норм (18 мая 2016 г.). "Google расширяет задачи машинного обучения с помощью специального чипа TPU". Блог Google Cloud Platform. Получено 2017-01-22.
  4. ^ «TensorFlow: машинное обучение с открытым исходным кодом» «Это программное обеспечение для машинного обучения, используемое для различных задач восприятия и понимания языка» - Джеффри Дин, минута 0:47 / 2:17 из ролика Youtube
  5. ^ «Google делает свои специальные чипы AI доступными для других». Нью-Йорк Таймс. Получено 2018-02-12.
  6. ^ МакГурти, Колин (6 декабря 2017 г.). "AlphaZero DeepMind сокрушает шахматы". Chess24.com.
  7. ^ «Tensor Processing Unit Google может продвинуть закон Мура на 7 лет вперед». PCWorld. Получено 2017-01-19.
  8. ^ Армасу, Лучиан (19 мая 2016 г.). «Представлен большой чип Google для машинного обучения: модуль тензорной обработки с 10-кратной эффективностью (обновлено)». Оборудование Тома. Получено 2016-06-26.
  9. ^ Следите за обновлениями, скоро появится дополнительная информация о TPU v4, Дата обращения 6 августа 2020.
  10. ^ а б Jouppi, Norman P .; Янг, Клифф; Патил, Нишант; Паттерсон, Дэвид; Агравал, Гаурав; Баджва, Раминдер; Бейтс, Сара; Бхатия, Суреш; Боден, Нан; Borchers, Al; Бойл, Рик; Кантин, Пьер-Люк; Чао, Клиффорд; Кларк, Крис; Кориелл, Джереми; Дейли, Майк; Дау, Мэтт; Дин, Джеффри; Гелб, Бен; Гаеммагами, Тара Вазир; Готтипати, Раджендра; Гулланд, Уильям; Хагманн, Роберт; Хо, К. Ричард; Хогберг, Дуг; Ху, Джон; Хундт, Роберт; Больно, Дэн; Ибарз, Джулиан; Джеффи, Аарон; Яворский, Алек; Каплан, Александр; Хайтан, Харшит; Кох, Энди; Кумар, Навин; Лейси, Стив; Лаудон, Джеймс; Закон, Джеймс; Ле, Диемту; Лири, Крис; Лю, Чжуюань; Удача, Кайл; Лундин, Алан; Маккин, Гордон; Маджоре, Адриана; Махони, Мэр; Миллер, Киран; Нагараджан, Рахул; Нараянасвами, Рави; Ni, Ray; Никс, Кэти; Норри, Томас; Омерник, Марк; Пенуконда, Нараяна; Фелпс, Энди; Росс, Джонатан; Росс, Мэтт; Салек, Амир; Самадиани, Эмад; Северн, Крис; Сизиков Григорий; Снелхэм, Мэтью; Саутер, Джед; Стейнберг, Дэн; Свинг, Энди; Тан, Мерседес; Торсон, Грегори; Тиан, Бо; Тома, Хория; Таттл, Эрик; Васудеван, Виджай; Уолтер, Ричард; Ван, Уолтер; Уилкокс, Эрик; Юн, До Хён (26 июня, 2017). In-Datacenter Анализ производительности Tensor Processing Unit ™. Торонто, Канада. arXiv:1704.04760.
  11. ^ а б Кеннеди, Патрик (22 августа 2017 г.). «Пример использования Google TPU и GDDR5 от Hot Chips 29». Служить дому. Получено 23 августа 2017.
  12. ^ а б c Брайт, Питер (17 мая 2017 г.). "Google привносит в свое вычислительное облако 45 процессоров тензорного потока терафлопс". Ars Technica. Получено 30 мая 2017.
  13. ^ Кеннеди, Патрик (17 мая 2017 г.). "Подробная информация о Google Cloud TPU раскрыта". Служить дому. Получено 30 мая 2017.
  14. ^ Фрумусану, Андре (8 мая 2018 г.). "Живой блог основного выступления Google I / O". Получено 9 мая 2018.
  15. ^ Фельдман, Майкл (11 мая 2018 г.). "Google представляет процессор TPU третьего поколения". 500 лучших. Получено 14 мая 2018.
  16. ^ Тайч, Пауль (10 мая 2018 г.). "Разрушение сопроцессора Google TPU 3.0 AI". Следующая платформа. Получено 14 мая 2018.
  17. ^ «Тесты производительности Edge TPU». Коралловый. Получено 2020-01-04.
  18. ^ «Повышение интеллектуальности с помощью Cloud IoT». Блог Google. 2018-07-25. Получено 2018-07-25.
  19. ^ "Переобучить модель классификации изображений на устройстве". Коралловый. Получено 2019-05-03.
  20. ^ «組 込 み 総 合 技術 展 ＆ IoT 総 合 技術 展「 ET & IoT Technology 2019 」に 出 展 す る こ と 発 表». Asus.com (по-японски). Получено 2019-11-13.
  21. ^ Шилов, Антон. «ASUS и Google объединились для создания компьютеров размером с кредитную карту Tinker Board, ориентированных на ИИ». Anandtech.com. Получено 2019-11-13.
  22. ^ Офранк, Жан-Люк (29.05.2019). «ASUS Tinker Edge T и CR1S-CM-A SBC с технологией Google Coral Edge TPU и процессором NXP i.MX 8M». CNX Software - Новости встраиваемых систем. Получено 2019-11-14.
  23. ^ «Новые продукты Coral на 2020 год». Блог разработчиков Google. Получено 2020-01-04.
  24. ^ «Модуль-ускоритель». Коралловый. Получено 2020-01-04.
  25. ^ «Представляем следующее поколение моделей технического зрения на устройстве: MobileNetV3 и MobileNetEdgeTPU». Блог Google AI. Получено 2020-04-16.

внешние ссылки