Параллельное замедление - Parallel slowdown

Диаграмма времени выполнения программы (показана синим цветом) и ускорения программы (показана красным цветом) реальной программы с неоптимальным распараллеливанием. Пунктирные линии указывают на оптимальное распараллеливание - линейное увеличение ускорения и линейное уменьшение времени выполнения программы. Обратите внимание, что в конечном итоге время выполнения увеличивается с увеличением количества процессоров (и ускорение также уменьшается). Это параллельное замедление.

Параллельное замедление это явление в параллельные вычисления где распараллеливание параллельный алгоритм после определенного момента программа будет работать медленнее (требуется больше времени для выполнения).[1]

Параллельное замедление обычно является результатом узкого места в системе связи. Как более узлы процессора добавлены, каждый узел обработки тратит все больше времени на общение, чем на полезную обработку. В какой-то момент накладные расходы связи, создаваемые добавлением еще одного узла обработки, превышают увеличенную вычислительную мощность, которую обеспечивает узел, и происходит параллельное замедление.

Параллельное замедление происходит, когда алгоритм требует значительного взаимодействия, особенно промежуточных результатов. Некоторые проблемы, известные как смущающе параллельные проблемы, не требуют такого общения и, следовательно, не подвержены замедлению.

Рекомендации

  1. ^ Куканов, Алексей (2008-03-04). «Почему простой тест может иметь параллельное замедление». Получено 2015-02-15.

Смотрите также