Параллельное замедление — это явление в параллельных вычислениях , когда распараллеливание параллельного алгоритма после определенной точки приводит к тому, что программа работает медленнее (до завершения требуется больше времени). [1]
Замедление параллельного процесса обычно является результатом проблем со связью. По мере добавления большего количества процессорных узлов каждый обрабатывающий узел тратит все больше времени на обмен данными, чем на полезную обработку. В какой-то момент накладные расходы на связь, создаваемые добавлением еще одного узла обработки, превосходят возросшую вычислительную мощность, которую обеспечивает узел, и происходит параллельное замедление.
Параллельное замедление происходит, когда алгоритму требуется значительная передача данных, особенно промежуточных результатов. Некоторые проблемы, известные как проблемы с досадной параллельностью , не требуют такого взаимодействия и, следовательно, не подвержены замедлению.