Теорема Шеннона – Хартли

Теорема, определяющая максимальную скорость, с которой может передаваться информация.

В теории информации теорема Шеннона -Хартли определяет максимальную скорость, с которой информация может передаваться по каналу связи с заданной полосой пропускания в присутствии шума . Это применение теоремы кодирования канала с шумом к типичному случаю непрерывного аналогового канала связи, подверженного гауссовскому шуму . Теорема устанавливает пропускную способность канала Шеннона для такой линии связи, ограничение максимального количества безошибочной информации в единицу времени, которое может быть передано с заданной полосой пропускания при наличии шумовых помех, предполагая, что мощность сигнала ограничена: и что процесс гауссовского шума характеризуется известной мощностью или спектральной плотностью мощности. Закон назван в честь Клода Шеннона и Ральфа Хартли .

Формулировка теоремы

Теорема Шеннона-Хартли устанавливает пропускную способность канала , что означает теоретическую самую точную верхнюю границу скорости передачи данных, которые могут передаваться с произвольно низкой частотой ошибок , используя среднюю мощность принимаемого сигнала через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму ( AWGN) мощности : ${\displaystyle C}$ ${\displaystyle S}$ ${\displaystyle N}$

${\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

где

• ${\displaystyle C}$— пропускная способность канала в битах в секунду , теоретическая верхняя граница чистой скорости передачи данных (иногда обозначается скоростью передачи данных ), исключая коды с исправлением ошибок; ${\displaystyle I}$
• ${\displaystyle B}$– полоса пропускания канала в герцах ( полоса пропускания в случае полосового сигнала);
• ${\displaystyle S}$— средняя мощность принятого сигнала по полосе пропускания (в случае передачи с полосой пропускания с модуляцией несущей, часто обозначаемая C ), измеряемая в ваттах (или вольтах в квадрате);
• ${\displaystyle N}$— средняя мощность шума и помех по полосе пропускания, измеряемая в ваттах (или вольтах в квадрате); и
• ${\displaystyle S/N}$— это отношение сигнал/шум (SNR) или отношение несущей к шуму (CNR) сигнала связи к шуму и помехам в приемнике (выраженное как линейное отношение мощности, а не как логарифмические децибелы ).

Историческое развитие

В конце 1920-х годов Гарри Найквист и Ральф Хартли разработали несколько фундаментальных идей, связанных с передачей информации, особенно в контексте телеграфа как системы связи. В то время эти концепции были мощными прорывами по отдельности, но они не были частью всеобъемлющей теории. В 1940-х годах Клод Шеннон разработал концепцию пропускной способности канала, частично основанную на идеях Найквиста и Хартли, а затем сформулировал полную теорию информации и ее передачи.

ставка Найквиста

В 1927 году Найквист определил, что количество независимых импульсов, которые можно передать по телеграфному каналу в единицу времени, ограничено удвоенной полосой пропускания канала. В символических обозначениях

${\displaystyle f_{p}\leq 2B}$

где частота импульсов (в импульсах в секунду) и ширина полосы пропускания (в герцах). Величина позже стала называться частотой Найквиста , а передача с предельной частотой импульсов в секунду как сигнализация со скоростью Найквиста . Найквист опубликовал свои результаты в 1928 году в рамках своей статьи «Некоторые темы теории телеграфной передачи». ^[1] ${\displaystyle f_{p}}$ ${\displaystyle B}$ ${\displaystyle 2B}$ ${\displaystyle 2B}$

Закон Хартли

В 1928 году Хартли сформулировал способ количественной оценки информации и скорости ее передачи (также известной как скорость передачи данных R бит в секунду). ^[2] Этот метод, позже известный как закон Хартли, стал важным предшественником более сложной концепции Шеннона о пропускной способности канала.

Хартли утверждал, что максимальное количество различимых уровней импульсов, которые можно надежно передавать и принимать по каналу связи, ограничено динамическим диапазоном амплитуды сигнала и точностью, с которой приемник может различать уровни амплитуды. В частности, если амплитуда передаваемого сигнала ограничена диапазоном [- A ... + A ] вольт, а точность приемника составляет ±Δ V вольт, то максимальное количество отдельных импульсов M определяется выражением

${\displaystyle M=1+{A \over \Delta V}}$.

Принимая информацию за импульс в битах/импульсах как логарифм по основанию 2 количества различных сообщений M , которые могут быть отправлены, Хартли ^[3] построил меру скорости линии R как:

${\displaystyle R=f_{p}\log _{2}(M),}$

где — частота импульсов, также известная как скорость передачи символов, в символах в секунду или в бодах . ${\displaystyle f_{p}}$

Затем Хартли объединил приведенную выше количественную оценку с наблюдением Найквиста о том, что количество независимых импульсов, которые можно пройти через канал с полосой пропускания в герцах , составляет количество импульсов в секунду, чтобы получить свою количественную меру достижимой скорости линии. ${\displaystyle B}$ ${\displaystyle 2B}$

Закон Хартли иногда цитируется как просто пропорциональность между аналоговой полосой пропускания в герцах и тем, что сегодня называется цифровой полосой пропускания в бит/с. ^[4] В других случаях это цитируется в более количественной форме, как достижимая скорость передачи данных в битах в секунду: ^[5] ${\displaystyle B}$ ${\displaystyle R}$ ${\displaystyle R}$

${\displaystyle R\leq 2B\log _{2}(M).}$

Хартли не выяснил, как именно число M должно зависеть от статистики шума канала или как можно сделать связь надежной, даже если отдельные импульсы символов не могут быть надежно различены до уровней M ; со статистикой гауссовского шума разработчикам систем пришлось выбирать очень консервативное значение для достижения низкой частоты ошибок. ${\displaystyle M}$

Концепция безошибочной емкости ждала Клода Шеннона, который основывался на наблюдениях Хартли о логарифмической мере информации и наблюдениях Найквиста о влиянии ограничений полосы пропускания.

Результат Хартли можно рассматривать как пропускную способность безошибочного М -арного канала символов в секунду. Некоторые авторы называют это способностью. Но такой безошибочный канал является идеализацией, и если M выбирается достаточно малым, чтобы сделать шумный канал почти безошибочным, результат обязательно будет меньше, чем пропускная способность Шеннона шумного канала с полосой пропускания , что является результатом Хартли-Шеннона, который последовал позже. . ${\displaystyle 2B}$ ${\displaystyle B}$

Теорема о кодировании зашумленного канала и пропускная способность

Развитие теории информации Клодом Шенноном во время Второй мировой войны стало следующим большим шагом в понимании того, насколько много информации можно надежно передать по зашумленным каналам. Основываясь на принципах Хартли, теорема Шеннона о кодировании каналов с шумом (1948) описывает максимально возможную эффективность методов исправления ошибок в зависимости от уровней шумовых помех и искажения данных. ^{[6] [7]} Доказательство теоремы показывает, что случайно построенный код с исправлением ошибок по существу так же хорош, как и наилучший возможный код; теорема доказывается на основе статистики таких случайных кодов.

Теорема Шеннона показывает, как вычислить пропускную способность канала на основе статистического описания канала, и устанавливает, что для зашумленного канала с пропускной способностью и информацией, передаваемой со скоростью линии , тогда если ${\displaystyle C}$ ${\displaystyle R}$

${\displaystyle R<C}$

существует метод кодирования, позволяющий сделать вероятность ошибки в приемнике сколь угодно малой. Это означает, что теоретически можно передавать информацию почти без ошибок почти до предела бит в секунду. ${\displaystyle C}$

Обратное также важно. Если

${\displaystyle R>C}$

вероятность ошибки в приемнике неограниченно возрастает по мере увеличения скорости. Поэтому никакая полезная информация не может быть передана за пределами пропускной способности канала. Теорема не рассматривает редкую ситуацию, когда скорость и емкость равны.

Теорема Шеннона-Хартли устанавливает, какова эта пропускная способность для канала с конечной полосой пропускания и непрерывного времени , подверженного гауссовскому шуму. Он соединяет результат Хартли с теоремой Шеннона о пропускной способности канала в форме, которая эквивалентна указанию M в формуле скорости линии Хартли в терминах отношения сигнал/шум, но надежность достигается за счет кодирования с коррекцией ошибок, а не за счет надежно различимых уровней импульсов. .

Если бы существовала такая вещь, как свободный от шума аналоговый канал, по нему можно было бы передавать неограниченное количество безошибочных данных в единицу времени (обратите внимание, что аналоговый канал с бесконечной полосой пропускания не мог бы передавать неограниченное количество безошибочных данных при отсутствии бесконечная мощность сигнала). Однако реальные каналы подвержены ограничениям, налагаемым как конечной полосой пропускания, так и ненулевым шумом.

Пропускная способность и шум влияют на скорость передачи информации по аналоговому каналу. Ограничения полосы пропускания сами по себе не налагают ограничения на максимальную скорость передачи данных, поскольку сигнал все еще может принимать неопределенно большое количество различных уровней напряжения в каждом импульсе символа, причем каждому немного отличающемуся уровню присваивается различное значение или последовательность битов. . Однако, принимая во внимание ограничения как по шуму, так и по полосе пропускания, существует предел объема информации, который может быть передан сигналом ограниченной мощности, даже когда используются сложные методы многоуровневого кодирования.

В канале, рассматриваемом теоремой Шеннона–Хартли, шум и сигнал объединяются путем сложения. То есть приемник измеряет сигнал, равный сумме сигнала, кодирующего нужную информацию, и непрерывной случайной величины, представляющей шум. Это дополнение создает неопределенность относительно значения исходного сигнала. Если приемник имеет некоторую информацию о случайном процессе, генерирующем шум, в принципе можно восстановить информацию в исходном сигнале, рассмотрев все возможные состояния шумового процесса. В случае теоремы Шеннона–Хартли предполагается, что шум генерируется гауссовским процессом с известной дисперсией. Поскольку дисперсия гауссовского процесса эквивалентна его мощности, эту дисперсию принято называть мощностью шума.

Такой канал называется каналом аддитивного белого гауссовского шума, поскольку к сигналу добавляется гауссов шум; «Белый» означает равное количество шума на всех частотах в пределах полосы пропускания канала. Такой шум может возникать как из-за случайных источников энергии, так и из-за ошибок кодирования и измерения в отправителе и получателе соответственно. Поскольку суммы независимых гауссовских случайных величин сами по себе являются гауссовскими случайными величинами, это удобно упрощает анализ, если предположить, что такие источники ошибок также являются гауссовскими и независимыми.

Следствия теоремы

Сравнение емкости Шеннона с законом Хартли

Сравнивая пропускную способность канала со скоростью передачи информации по закону Хартли, мы можем найти эффективное число различимых уровней M : ^[8]

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

Квадратный корень эффективно преобразует коэффициент мощности обратно в коэффициент напряжения, поэтому количество уровней примерно пропорционально отношению среднеквадратичной амплитуды сигнала к стандартному отклонению шума.

Это сходство формы между мощностью Шеннона и законом Хартли не следует интерпретировать как означающее, что уровни импульсов можно передавать буквально без какой-либо путаницы. Необходимо больше уровней, чтобы обеспечить избыточное кодирование и исправление ошибок, но чистая скорость передачи данных, которую можно достичь с помощью кодирования, эквивалентна использованию ее в законе Хартли. ${\displaystyle M}$ ${\displaystyle M}$

Случай частотно-зависимого (цветной шум)

В приведенной выше простой версии сигнал и шум полностью некоррелированы, и в этом случае получается общая мощность принятого сигнала и шума вместе. Обобщение приведенного выше уравнения для случая, когда аддитивный шум не является белым (или когда он не является постоянным в зависимости от частоты по всей полосе пропускания), получается путем рассмотрения канала как множества узких, независимых гауссовых каналов параллельно: ${\displaystyle S+N}$ ${\displaystyle S/N}$

${\displaystyle C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df}$

где

• ${\displaystyle C}$– пропускная способность канала в битах в секунду;
• ${\displaystyle B}$– полоса пропускания канала в Гц;
• ${\displaystyle S(f)}$спектр мощности сигнала
• ${\displaystyle N(f)}$спектр мощности шума
• ${\displaystyle f}$— частота в Гц.

Примечание: теорема применима только к гауссовскому стационарному шуму процесса. Способ введения этой формулы частотно-зависимого шума не может описать все шумовые процессы, непрерывные во времени. Например, рассмотрим шумовой процесс, состоящий из добавления случайной волны, амплитуда которой равна 1 или -1 в любой момент времени, и канала, который добавляет такую ​​волну к исходному сигналу. Частотные составляющие такой волны сильно зависят. Хотя такой шум может иметь большую мощность, довольно легко передать непрерывный сигнал с гораздо меньшей мощностью, чем нужно, если бы основной шум представлял собой сумму независимых шумов в каждой полосе частот.

Приближения

Пропускная способность канала AWGN с указанием режима ограничения мощности и режима ограничения полосы пропускания. Здесь, ; B и C можно пропорционально масштабировать для других значений. ${\displaystyle {\frac {S}{N_{0}}}=1}$

Для больших или малых и постоянных отношений сигнал/шум формулу емкости можно аппроксимировать:

Случай с ограниченной полосой пропускания

Когда SNR велико ( S / N ≫ 1 ), логарифм аппроксимируется выражением

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}},}$

в этом случае емкость является логарифмической по мощности и приблизительно линейной по полосе пропускания (не совсем линейной, поскольку N увеличивается с увеличением полосы пропускания, создавая логарифмический эффект). Это называется режимом с ограниченной полосой пропускания .

${\displaystyle C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)} }$

где

${\displaystyle \mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.}$

Случай с ограниченной мощностью

Аналогично, когда SNR мало (если ), применяется приближение к логарифму: ${\displaystyle S/N\ll 1}$

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N};}$

тогда емкость линейна по мощности. Это называется режимом ограничения власти .

${\displaystyle C\approx 1.44\cdot B\cdot {S \over N}.}$

В этом приближении с низким SNR пропускная способность не зависит от полосы пропускания, если шум белый, от спектральной плотности (ватты на герц), и в этом случае общая мощность шума равна . ${\displaystyle N_{0}}$ ${\displaystyle N=B\cdot N_{0}}$

${\displaystyle C\approx 1.44\cdot {S \over N_{0}}}$

Примеры

1. При SNR 0 дБ (мощность сигнала = мощность шума) пропускная способность в битах/с равна полосе пропускания в герцах.
2. Если SNR составляет 20 дБ, а доступная полоса пропускания равна 4 кГц, что подходит для телефонной связи, то C = 4000 log ₂ (1 + 100) = 4000 log ₂ (101) = 26,63 кбит/с. Обратите внимание, что значение S/N = 100 эквивалентно SNR 20 дБ.
3. Если требуется передача со скоростью 50 кбит/с и используется полоса пропускания 10 кГц, то требуемое минимальное отношение сигнал/шум определяется как 50000 = 10000 log ₂ (1+S/N), поэтому C/B = 5, тогда S/N = 2 ⁵ − 1 = 31, что соответствует SNR 14,91 дБ (10 x log ₁₀ (31)).
4. Какова пропускная способность канала для сигнала с полосой пропускания 1 МГц, полученного с отношением сигнал/шум –30 дБ? Это означает, что сигнал глубоко погружен в шум. −30 дБ означает отношение сигнал/шум = 10 ⁻³ . Это приводит к максимальной скорости передачи информации 10 ⁶ log ₂ (1 + 10 ⁻³ ) = 1443 бит/с. Эти значения типичны для принимаемых сигналов определения дальности GPS, где навигационное сообщение отправляется со скоростью 50 бит/с (ниже пропускной способности канала для данного S/N), а полоса пропускания которого расширяется примерно до 1 МГц с помощью псевдо- умножение шума перед передачей.
5. Как указано выше, пропускная способность канала пропорциональна пропускной способности канала и логарифму SNR. Это означает, что пропускная способность канала может быть увеличена линейно либо за счет увеличения полосы пропускания канала при условии фиксированного требования к SNR, либо, при фиксированной полосе пропускания, за счет использования модуляций более высокого порядка , для работы которых требуется очень высокое SNR. По мере увеличения скорости модуляции спектральная эффективность улучшается, но за счет требования SNR. Таким образом, требования к SNR экспоненциально возрастают, если используется 16QAM или 64QAM ; однако спектральная эффективность улучшается.

Смотрите также

• Теорема выборки Найквиста – Шеннона
• Эб/N0

Примечания

1. Найквист, Гарри (апрель 1928 г.). «Некоторые темы теории телеграфной передачи» (PDF) . Пер. АИЭЭ . 47 (2): 617–44. Бибкод : 1928TAIEE..47..617N. дои : 10.1109/T-AIEE.1928.5055024.Также перепечатка 2002 г .: 10.1109/5.989873.
2. Хартли, RVL (июль 1928 г.). «Передача информации» (PDF) . Технический журнал Bell System . 7 (3): 535–563. doi :10.1002/j.1538-7305.1928.tb01236.x.
3. Белл, Д.А. (1962). Теория информации; и его инженерные приложения (3-е изд.). Нью-Йорк: Питман. ISBN 9780273417576.
4. Гохале, Ану А. (2004). Введение в телекоммуникации (2-е изд.). Томсон Делмар Обучение. ISBN 1-4018-5648-9.
5. Данлоп, Джон; Смит, Д. Джеффри (1998). Телекоммуникационная инженерия. ЦРК Пресс. ISBN 0-7487-4044-9.
6. Шеннон, CE (1998) [1949]. Математическая теория связи (PDF) . Урбана, Иллинойс: Издательство Университета Иллинойса.
7. Шеннон, CE (январь 1949 г.). «Связь в условиях шума» (PDF) . Труды Института радиоинженеров . 37 (1): 10–21. дои : 10.1109/JRPROC.1949.232969. S2CID  52873253. Архивировано из оригинала (PDF) 8 февраля 2010 года.
8. Пирс, Джон Робинсон (1980). Введение в теорию информации: символы, сигналы и шум . Курьер. ISBN 0-486-24061-4.

Рекомендации

• Тауб, Герберт; Шиллинг, Дональд Л. (1986). Принципы систем связи . МакГроу-Хилл. ISBN 978-0-07-062956-1. ОСЛК  12107009.
• Возенкрафт, Джон М.; Джейкобс, Ирвин Марк (1965). Принципы коммуникационной инженерии . Уайли. ISBN 978-0-471-96240-3. ОСЛК  1325622.

Внешние ссылки

• Онлайн-учебник Дэвида Маккея «Теория информации, вывод и алгоритмы обучения » представляет собой занимательное и подробное введение в теорию Шеннона, включая два доказательства теоремы о кодировании каналов с шумом. В этом тексте также обсуждаются современные методы теории кодирования, такие как коды с низкой плотностью проверки четности и турбокоды .
• Статья MIT News о Шеннон Лимит