Параллелизм на уровне битов — это форма параллельных вычислений, основанная на увеличении размера процессорного слова . Увеличение размера слова уменьшает количество инструкций, которые процессор должен выполнить для выполнения операции над переменными, размеры которых больше длины слова. (Например, рассмотрим случай, когда 8-битный процессор должен сложить два 16-битных целых числа . Процессор должен сначала сложить 8 младших битов из каждого целого числа, а затем сложить 8 старших битов, что требует двух инструкций для завершения одной операции. 16-битный процессор сможет выполнить операцию с помощью одной инструкции.)
Первоначально все электронные компьютеры были последовательными (однобитовыми) компьютерами. Первым электронным компьютером, который не был последовательным компьютером — первым бит-параллельным компьютером — был 16-битный Whirlwind 1951 года.
С появлением технологии изготовления компьютерных микросхем сверхбольшой интеграции (VLSI) в 1970-х годах и примерно до 1986 года достижения в архитектуре компьютеров достигались за счет увеличения параллелизма на уровне битов [1] , поскольку 4-битные микропроцессоры были заменены 8-битными , затем 16-битными , затем 32-битными микропроцессорами. Эта тенденция в целом закончилась с появлением 32-битных процессоров, которые были стандартом в вычислениях общего назначения в течение двух десятилетий. 64-битные архитектуры были введены в мейнстрим с одноименной Nintendo 64 (1996), но после этого внедрения оставались необычными до появления архитектур x86-64 около 2003 года и 2014 года для мобильных устройств с набором инструкций ARMv8-A.
На 32-битных процессорах ширина внешней шины данных продолжает увеличиваться. Например, DDR1 SDRAM передает 128 бит за такт. DDR2 SDRAM передает минимум 256 бит за пакет.