Конвейер (вычисления) - Pipeline (computing)

В вычисление, а трубопровод, также известный как конвейер данных,^[1] это набор данные обрабатывающие элементы соединены последовательно, где выход одного элемента является входом следующего. Элементы конвейера часто выполняются параллельно или с временным интервалом. Некоторое количество буферное хранилище часто вставляется между элементами.

Связанные с компьютером конвейеры включают:

Инструкционные конвейеры, такой как классический конвейер RISC, которые используются в центральные процессоры (CPU) и другие микропроцессоры чтобы разрешить перекрытие выполнения нескольких инструкций с одним и тем же схема. Схема обычно делится на этапы, и каждый этап обрабатывает определенную часть одной инструкции за раз, передавая частичные результаты на следующий этап. Примерами этапов являются декодирование команд, арифметические / логические операции и выборка из регистров. Они связаны с технологиями суперскалярное исполнение, пересылка операндов, спекулятивное исполнение и внеочередное исполнение.
Графические конвейеры, встречается в большинстве графические процессоры (GPU), которые состоят из нескольких арифметические единицы, или заполнить Процессоры, реализующие различные этапы общих операций рендеринга (перспективная проекция, окно вырезка, цвет и свет расчет, рендеринг и т. д.).
Программные конвейеры, которые состоят из последовательности вычислений процессы (команды, запуски программ, задачи, потоки, процедуры и т. д.), концептуально выполняемые параллельно, при этом выходной поток одного процесса автоматически подается как входной поток следующего. В Unix системный вызов трубка является классическим примером этой концепции.
Конвейерная обработка HTTP, техника выдачи нескольких HTTP запросы через то же TCP соединение, не дожидаясь завершения предыдущего, прежде чем выдать новый.

Немного операционные системы^{[пример необходим ]} может предоставить UNIX-подобный синтаксис для последовательного выполнения нескольких программ в конвейере, но реализуйте последнее как простое последовательное выполнение, а не как настоящую конвейерную обработку, а именно, ожидая завершения каждой программы перед запуском следующей.^{[нужна цитата ]}

Концепция и мотивация

Конвейерная обработка - это широко используемое понятие в повседневной жизни. Например, в сборочная линия На автомобильном заводе каждая конкретная задача - например, установка двигателя, установка капота и установка колес - часто выполняется отдельным рабочим местом. Станции выполняют свои задачи параллельно, каждая на своем автомобиле. Как только машина выполнила одну задачу, она движется к следующей станции. Различия во времени, необходимом для выполнения задач, можно компенсировать «буферизацией» (удерживание одной или нескольких машин в пространстве между станциями) и / или «остановкой» (временной остановкой вышестоящих станций) до тех пор, пока не станет доступна следующая станция. .

Предположим, что для сборки одной машины требуется три задачи, которые занимают 20, 10 и 15 минут соответственно. Тогда, если бы все три задачи выполняла одна станция, завод выпускал бы одну машину каждые 45 минут. Используя трубопровод из трех станций, завод будет выпускать первый автомобиль за 45 минут, а затем новый каждые 20 минут.

Как показывает этот пример, конвейерная обработка не уменьшает задержка, то есть общее время прохождения одного элемента через всю систему. Однако это увеличивает пропускная способность, то есть скорость, с которой новые элементы обрабатываются после первого.

Соображения по дизайну

Балансировка этапов

Поскольку пропускная способность конвейера не может быть лучше, чем у его самого медленного элемента, разработчик должен попытаться разделить работу и ресурсы между этапами, чтобы все они занимали одинаковое время для выполнения своих задач. В приведенном выше примере сборки автомобиля, если на каждую из трех задач требуется 15 минут вместо 20, 10 и 15 минут, задержка все равно будет 45 минут, но новая машина будет завершаться каждые 15 минут вместо 20.

Буферизация

В идеальных обстоятельствах, если все элементы обработки синхронизированы и для обработки требуется одинаковое количество времени, то каждый элемент может быть получен каждым элементом так же, как он был выпущен предыдущим, за один Часы цикл. Таким образом, предметы будут течь по трубопроводу с постоянной скоростью, как волны в водном канале. В таких «волновых трубопроводах»^[2], не требуется никакой синхронизации или буферизации между этапами, за исключением хранилища, необходимого для элементов данных.

В более общем смысле, буферизация между этапами конвейера необходима, когда время обработки нерегулярно или когда элементы могут быть созданы или уничтожены вдоль конвейера. Например, в графическом конвейере, который обрабатывает треугольники для отображения на экране, элемент, который проверяет видимость каждого треугольника, может отбрасывать треугольник, если он невидим, или может выводить два или более треугольных фрагмента элемента, если они частично скрытый. Буферизация также необходима для устранения отклонений в скорости, с которой приложение подает элементы на первый этап и потребляет выходные данные последнего.

Буфер между двумя этапами может быть просто регистр оборудования с подходящей логикой синхронизации и сигнализации между двумя ступенями. Когда каскад A сохраняет элемент данных в регистре, он посылает сигнал «данные доступны» следующему каскаду B. После того, как B использует эти данные, он отвечает сигналом «данные получены» в A. Стадия A останавливается, ожидая для этого сигнала перед сохранением следующего элемента данных в регистре. Этап B останавливается, ожидая сигнала «данные доступны», если он готов обработать следующий элемент, но этап A еще не предоставил его.

Если время обработки элемента является переменным, весь конвейер может часто останавливаться, ожидая, пока этот элемент и все предыдущие элементы потребят элементы в своих входных буферах. Частота таких стойла трубопроводов можно уменьшить, предоставив место для более чем одного элемента во входном буфере этого этапа. Такой буфер с несколькими элементами обычно реализуется как очередь прибытия, очереди. Этап восходящего потока может все еще быть остановлен, когда очередь будет заполнена, но частота этих событий будет уменьшаться по мере того, как будет предоставлено больше буферных слотов. Теория массового обслуживания может указать количество необходимых буферных слотов в зависимости от изменчивости времени обработки и желаемой производительности.

Нелинейные трубопроводы

Если какой-то этап занимает (или может занять) намного больше времени, чем другие, и не может быть ускорен, разработчик может предоставить два или более элемента обработки для параллельного выполнения этой задачи с одним входным буфером и одним выходным буфером. Когда каждый элемент завершает обработку своего текущего элемента данных, он доставляет его в общий выходной буфер и берет следующий элемент данных из общего входного буфера. Примером этой концепции «нелинейного» или «динамического» конвейера являются магазины или банки, у которых есть два или более кассира, обслуживающих клиентов из одной очереди ожидания.

Зависимости между предметами

В некоторых приложениях обработка элемента Y на этапе A может зависеть от результатов или эффекта обработки предыдущего элемента X на более позднем этапе B конвейера. В этом случае этап A не может правильно обработать элемент Y, пока элемент X не очистит этап B.

Такая ситуация очень часто возникает в конвейерах команд. Например, предположим, что Y - это арифметическая инструкция, которая считывает содержимое регистра, который должен был быть изменен предыдущей инструкцией X. Пусть A будет этапом, на котором выполняется выборка инструкции. операнды, а B - этап, записывающий результат в указанный регистр. Если этап A пытается обработать инструкцию Y до того, как инструкция X достигнет этапа B, регистр все еще может содержать старое значение, и эффект Y будет неправильным.

Чтобы правильно обрабатывать такие конфликты, конвейер должен быть снабжен дополнительной схемой или логикой, которые обнаруживают их и предпринимают соответствующие действия. Стратегии для этого включают:

Срыв: Каждый затронутый этап, такой как A, останавливается до тех пор, пока зависимость не будет разрешена, то есть до тех пор, пока требуемая информация не станет доступной и / или требуемое состояние не будет достигнуто.

Повторный заказ товаров: Вместо остановки, этап A может отложить элемент Y в сторону и искать любой последующий элемент Z в своем входном потоке, который не имеет никаких зависимостей с каким-либо более ранним элементом. В конвейерах команд этот метод называется внеочередное исполнение.

Угадай и вернись: Одним из важных примеров зависимости от элемента к элементу является обработка условная ветвь инструкция X по конвейеру инструкций. Первый этап A конвейера, который выбирает следующую команду Y для выполнения, не может выполнить свою задачу до тех пор, пока X не получит свой операнд и не определит, следует ли переходить или нет. Это может занять много тактов, поскольку операнд X может, в свою очередь, зависеть от предыдущих инструкций, которые извлекают данные из основной памяти.

Вместо того, чтобы останавливаться в ожидании завершения X, этап A может угадать, будет ли ветвление выполнено или нет, и выбрать следующую инструкцию Y на основе этого предположения. Если предположение позже окажется неверным (надеюсь, редко), системе придется вернуться назад и продолжить с правильным выбором. А именно, все изменения, которые были внесены в состояние машины на этапе A и последующих этапах, основанных на этом предположении, должны быть отменены, инструкции, следующие за X, уже находящиеся в конвейере, должны быть сброшены, а этап A должен будет перезапущен с правильный указатель инструкции. Этот предсказание ветвления стратегия - это частный случай спекулятивное исполнение.

Затраты и недостатки

Конвейерная система обычно требует больше ресурсов (элементы схемы, блоки обработки, память компьютера и т. Д.), Чем та, которая выполняет один пакет за раз, потому что ее этапы не могут совместно использовать эти ресурсы, а также может потребоваться буферизация и дополнительная логика синхронизации между элементы.

Более того, передача элементов между отдельными элементами обработки может увеличивать задержку, особенно для длинных конвейеров.

Дополнительные затраты на сложность конвейерной обработки могут быть значительными, если существуют зависимости между обработкой различных элементов, особенно если для их обработки используется стратегия предположения и возврата. Действительно, стоимость реализации этой стратегии для сложных наборов инструкций послужила поводом для некоторых радикальных предложений по упрощению компьютерная архитектура, Такие как RISC и VLIW. Компиляторы также были обременены задачей переупорядочения машинных команд, чтобы улучшить производительность конвейеров команд.

Смотрите также

Библиография

Перес Гарсия, Пабло (2018). Конвейер DSL и dsl для создания конвейера CI / CD для ваших проектов. ISBN 978-0-134-69147-3.
Стандартное обсуждение конвейерной обработки в параллельных вычислениях см. Куинн, Майкл Дж. (2004). Параллельное программирование на C с помощью MPI и openMP. Дубьюк, Айова: McGraw-Hill Professional. ISBN 0072822562.

[1] Разработка конвейера данных Опубликовано Dativa, получено 24 мая 2018 г.

[2] О. Хаук; Сорин А. Хус; М. Гарг. «Двухфазные асинхронные волновые конвейеры и их применение в 2D-DCT». семантик. Получено 14 сентября 2019.

[1]

[2]