Параллельное замедление — это явление в параллельных вычислениях , при котором распараллеливание параллельного алгоритма после определенной точки приводит к замедлению работы программы (требуется больше времени для ее завершения). [1]
Параллельное замедление обычно является результатом узкого места в коммуникациях. По мере добавления новых процессорных узлов каждый узел обработки тратит все больше времени на коммуникацию, чем на полезную обработку. В какой-то момент накладные расходы на коммуникацию, создаваемые добавлением еще одного узла обработки, превышают возросшую вычислительную мощность, которую обеспечивает узел, и происходит параллельное замедление.
Параллельное замедление происходит, когда алгоритм требует значительной коммуникации, особенно промежуточных результатов. Некоторые проблемы, известные как embarrasingly parallel problems , не требуют такой коммуникации и, таким образом, не подвержены замедлению.