Теорема Шеннона–Хартли

Теорема, определяющая максимальную скорость передачи информации.

В теории информации теорема Шеннона–Хартли определяет максимальную скорость, с которой информация может передаваться по каналу связи с заданной полосой пропускания при наличии шума . Это приложение теоремы о кодировании канала с шумом к типичному случаю непрерывного во времени аналогового канала связи, подверженного гауссовскому шуму . Теорема устанавливает пропускную способность канала Шеннона для такого канала связи, ограничение на максимальный объем безошибочной информации за единицу времени, который может быть передан с заданной полосой пропускания при наличии шумовых помех, предполагая, что мощность сигнала ограничена, а процесс гауссовского шума характеризуется известной мощностью или спектральной плотностью мощности. Закон назван в честь Клода Шеннона и Ральфа Хартли .

Формулировка теоремы

Теорема Шеннона-Хартли устанавливает пропускную способность канала , то есть теоретически самую точную верхнюю границу скорости передачи данных, которую можно передать с произвольно низкой частотой ошибок , используя среднюю мощность принимаемого сигнала через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму (AWGN) мощностью : ${\displaystyle C}$ ${\displaystyle S}$ ${\displaystyle N}$

${\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

где

• ${\displaystyle C}$— пропускная способность канала в битах в секунду , теоретическая верхняя граница чистой скорости передачи данных (скорости передачи информации, иногда обозначаемой ), исключая коды исправления ошибок; ${\displaystyle I}$
• ${\displaystyle B}$- полоса пропускания канала в герцах ( полоса пропускания в случае полосового сигнала);
• ${\displaystyle S}$средняя мощность принятого сигнала в полосе пропускания (в случае передачи с модулированной несущей, часто обозначается C ), измеряемая в ваттах (или вольтах в квадрате);
• ${\displaystyle N}$средняя мощность шума и помех в полосе пропускания, измеряемая в ваттах (или вольтах в квадрате); и
• ${\displaystyle S/N}$— это отношение сигнал/шум (SNR) или отношение несущей/шум (CNR) сигнала связи к шуму и помехам на приемнике (выраженное как линейное отношение мощностей, а не как логарифмические децибелы ).

Историческое развитие

В конце 1920-х годов Гарри Найквист и Ральф Хартли разработали несколько фундаментальных идей, связанных с передачей информации, особенно в контексте телеграфа как системы связи. В то время эти концепции были мощными прорывами по отдельности, но они не были частью всеобъемлющей теории. В 1940-х годах Клод Шеннон разработал концепцию пропускной способности канала, основанную частично на идеях Найквиста и Хартли, а затем сформулировал полную теорию информации и ее передачи.

Скорость Найквиста

В 1927 году Найквист определил, что число независимых импульсов, которые могут быть переданы по телеграфному каналу за единицу времени, ограничено двойной шириной полосы пропускания канала. В символической записи,

${\displaystyle f_{p}\leq 2B}$

где - частота импульсов (в импульсах в секунду), а - ширина полосы пропускания (в герцах). Позже эта величина стала называться скоростью Найквиста , а передача с предельной частотой импульсов импульсов в секунду - передачей сигналов со скоростью Найквиста . Найквист опубликовал свои результаты в 1928 году в рамках своей статьи "Некоторые темы в теории телеграфной передачи". ^[1] ${\displaystyle f_{p}}$ ${\displaystyle B}$ ${\displaystyle 2B}$ ${\displaystyle 2B}$

Закон Хартли

В 1928 году Хартли сформулировал способ количественной оценки информации и ее скорости передачи (также известной как скорость передачи данных R бит в секунду). ^[2] Этот метод, позже известный как закон Хартли, стал важным предшественником более сложного понятия Шеннона о пропускной способности канала.

Хартли утверждал, что максимальное количество различимых уровней импульсов, которые могут быть надежно переданы и приняты по каналу связи, ограничено динамическим диапазоном амплитуды сигнала и точностью, с которой приемник может различать уровни амплитуды. В частности, если амплитуда передаваемого сигнала ограничена диапазоном [− A ... + A ] вольт, а точность приемника составляет ±Δ V вольт, то максимальное количество различимых импульсов M определяется как

${\displaystyle M=1+{A \over \Delta V}}$.

Приняв информацию на импульс в бит/импульс за логарифм по основанию 2 числа отдельных сообщений M , которые могли быть отправлены, Хартли ^[3] построил меру скорости линии R как:

${\displaystyle R=f_{p}\log _{2}(M),}$

где — частота импульсов, также известная как скорость передачи символов, в символах в секунду или бодах . ${\displaystyle f_{p}}$

Затем Хартли объединил приведенную выше количественную оценку с наблюдением Найквиста, что число независимых импульсов, которые можно пропустить через канал с полосой пропускания герц, составляет импульсов в секунду, чтобы получить свою количественную меру достижимой скорости линии. ${\displaystyle B}$ ${\displaystyle 2B}$

Закон Хартли иногда цитируется просто как пропорциональность между аналоговой полосой пропускания , в Герцах и тем, что сегодня называется цифровой полосой пропускания , в бит/с. ^[4] В других случаях он цитируется в более количественной форме, как достижимая скорость линии в битах в секунду: ^[5] ${\displaystyle B}$ ${\displaystyle R}$ ${\displaystyle R}$

${\displaystyle R\leq 2B\log _{2}(M).}$

Хартли не выяснил, как именно число M должно зависеть от статистики шума канала или как можно сделать связь надежной, даже если отдельные импульсы символов не могут быть надежно различимы на уровнях M ; при использовании статистики гауссовского шума проектировщикам систем приходилось выбирать очень консервативное значение , чтобы добиться низкого уровня ошибок. ${\displaystyle M}$

Концепция безошибочной пропускной способности была разработана Клодом Шенноном, который основывался на наблюдениях Хартли о логарифмической мере информации и наблюдениях Найквиста о влиянии ограничений полосы пропускания.

Результат скорости Хартли можно рассматривать как емкость безошибочного M -арного канала символов в секунду. Некоторые авторы называют его емкостью. Но такой безошибочный канал является идеализацией, и если M выбрано достаточно малым, чтобы сделать шумный канал почти безошибочным, результат обязательно будет меньше емкости Шеннона шумного канала полосы пропускания , что является результатом Хартли–Шеннона, который последовал позже. ${\displaystyle 2B}$ ${\displaystyle B}$

Теорема кодирования канала с шумом и пропускная способность

Развитие теории информации Клодом Шенноном во время Второй мировой войны обеспечило следующий большой шаг в понимании того, сколько информации можно надежно передать через шумные каналы. Основываясь на фундаменте Хартли, теорема Шеннона о кодировании шумного канала (1948) описывает максимально возможную эффективность методов исправления ошибок в зависимости от уровней помех и искажения данных. ^{[6] [7]} Доказательство теоремы показывает, что случайно сконструированный код исправления ошибок по сути так же хорош, как и наилучший возможный код; теорема доказана с помощью статистики таких случайных кодов.

Теорема Шеннона показывает, как вычислить пропускную способность канала из статистического описания канала, и устанавливает, что если задан шумный канал с пропускной способностью и информацией, передаваемой со скоростью линии , то если ${\displaystyle C}$ ${\displaystyle R}$

${\displaystyle R<C}$

существует метод кодирования, который позволяет сделать вероятность ошибки в приемнике произвольно малой. Это означает, что теоретически возможно передавать информацию почти без ошибок вплоть до предела бит в секунду. ${\displaystyle C}$

Обратное тоже важно. Если

${\displaystyle R>C}$

вероятность ошибки на приемнике неограниченно возрастает с ростом скорости. Поэтому никакая полезная информация не может быть передана за пределы пропускной способности канала. Теорема не рассматривает редкую ситуацию, в которой скорость и пропускная способность равны.

Теорема Шеннона–Хартли устанавливает, какова пропускная способность канала для канала с конечной полосой пропускания и непрерывным временем, подверженного гауссовскому шуму. Она связывает результат Хартли с теоремой Шеннона о пропускной способности канала в форме, эквивалентной указанию M в формуле скорости линии Хартли в терминах отношения сигнал/шум, но достигая надежности посредством кодирования с исправлением ошибок, а не посредством надежно различимых уровней импульсов.

Если бы существовала такая вещь, как аналоговый канал без помех, по нему можно было бы передавать неограниченное количество безошибочных данных за единицу времени (обратите внимание, что аналоговый канал с бесконечной полосой пропускания не мог бы передавать неограниченное количество безошибочных данных в отсутствие бесконечной мощности сигнала). Однако реальные каналы подвержены ограничениям, налагаемым как конечной полосой пропускания, так и ненулевым шумом.

Полоса пропускания и шум влияют на скорость, с которой информация может передаваться по аналоговому каналу. Ограничения полосы пропускания сами по себе не накладывают ограничения на максимальную скорость передачи информации, поскольку сигнал все еще может принимать неопределенно большое количество различных уровней напряжения на каждом импульсе символа, причем каждому немного отличающемуся уровню присваивается разное значение или последовательность битов. Однако, принимая во внимание как ограничения шума, так и ограничения полосы пропускания, существует предел объему информации, который может быть передан сигналом ограниченной мощности, даже при использовании сложных многоуровневых методов кодирования.

В канале, рассматриваемом теоремой Шеннона–Хартли, шум и сигнал объединяются путем сложения. То есть приемник измеряет сигнал, который равен сумме сигнала, кодирующего желаемую информацию, и непрерывной случайной величины, представляющей шум. Это сложение создает неопределенность относительно значения исходного сигнала. Если у приемника есть некоторая информация о случайном процессе, который генерирует шум, в принципе можно восстановить информацию в исходном сигнале, рассмотрев все возможные состояния шумового процесса. В случае теоремы Шеннона–Хартли предполагается, что шум генерируется гауссовым процессом с известной дисперсией. Поскольку дисперсия гауссовского процесса эквивалентна его мощности, принято называть эту дисперсию мощностью шума.

Такой канал называется каналом аддитивного белого гауссовского шума, поскольку к сигналу добавляется гауссовский шум; «белый» означает одинаковое количество шума на всех частотах в пределах полосы пропускания канала. Такой шум может возникать как из случайных источников энергии, так и из-за ошибок кодирования и измерения на отправителе и получателе соответственно. Поскольку суммы независимых гауссовых случайных величин сами являются гауссовыми случайными величинами, это удобно упрощает анализ, если предположить, что такие источники ошибок также являются гауссовыми и независимыми.

Следствия теоремы

Сравнение емкости Шеннона с законом Хартли

Сравнивая пропускную способность канала со скоростью передачи информации из закона Хартли, можно найти эффективное число различимых уровней M : ^[8]

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

Квадратный корень эффективно преобразует отношение мощностей обратно в отношение напряжений, поэтому количество уровней приблизительно пропорционально отношению среднеквадратичной амплитуды сигнала к стандартному отклонению шума.

Это сходство по форме между емкостью Шеннона и законом Хартли не следует интерпретировать так, что уровни импульсов могут быть буквально отправлены без какой-либо путаницы. Больше уровней необходимо для обеспечения избыточного кодирования и исправления ошибок, но чистая скорость передачи данных, к которой можно приблизиться с помощью кодирования, эквивалентна использованию этого в законе Хартли. ${\displaystyle M}$ ${\displaystyle M}$

Частотно-зависимый (цветной шум) случай

В простой версии выше сигнал и шум полностью некоррелированы, в этом случае общая мощность принятого сигнала и шума вместе. Обобщение приведенного выше уравнения для случая, когда аддитивный шум не является белым (или что ⁠ ⁠ не является постоянным с частотой в полосе пропускания), получается путем обработки канала как множества узких, независимых гауссовых каналов параллельно: ${\displaystyle S+N}$ ${\displaystyle S/N}$

${\displaystyle C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df}$

где

• ${\displaystyle C}$пропускная способность канала в битах в секунду;
• ${\displaystyle B}$- полоса пропускания канала в Гц;
• ${\displaystyle S(f)}$спектр мощности сигнала
• ${\displaystyle N(f)}$это спектр мощности шума
• ${\displaystyle f}$частота в Гц.

Примечание: теорема применима только к гауссовскому стационарному шуму процесса . Способ введения частотно-зависимого шума этой формулой не может описывать все непрерывные во времени шумовые процессы. Например, рассмотрим шумовой процесс, состоящий из добавления случайной волны, амплитуда которой равна 1 или −1 в любой момент времени, и канал, который добавляет такую ​​волну к исходному сигналу. Частотные компоненты такой волны сильно зависят. Хотя такой шум может иметь высокую мощность, довольно легко передать непрерывный сигнал с гораздо меньшей мощностью, чем это было бы необходимо, если бы базовый шум был суммой независимых шумов в каждой полосе частот.

Приближения

Пропускная способность канала AWGN с режимом ограничения мощности и режимом ограничения полосы пропускания указана. Здесь ; B и C могут быть масштабированы пропорционально для других значений. ${\displaystyle {\frac {S}{N_{0}}}=1}$

Для больших или малых и постоянных отношений сигнал/шум формулу емкости можно аппроксимировать:

Случай с ограниченной пропускной способностью

Когда SNR велико ( S / N ≫ 1 ), логарифм аппроксимируется выражением

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}},}$

в этом случае емкость логарифмическая по мощности и приблизительно линейная по полосе пропускания (не совсем линейная, поскольку N увеличивается с полосой пропускания, придавая логарифмический эффект). Это называется режимом с ограниченной полосой пропускания .

${\displaystyle C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)} }$

где

${\displaystyle \mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.}$

Корпус с ограниченной мощностью

Аналогично, когда SNR мало (если ⁠ ⁠ ${\displaystyle S/N\ll 1}$ ), применяем приближение к логарифму:

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N};}$

тогда мощность линейна по мощности. Это называется режимом ограничения мощности .

${\displaystyle C\approx 1.44\cdot B\cdot {S \over N}.}$

В этом приближении с низким отношением сигнал/шум емкость не зависит от полосы пропускания, если шум белый, и от спектральной плотности ватт на герц, в этом случае общая мощность шума равна . ${\displaystyle N_{0}}$ ${\displaystyle N=B\cdot N_{0}}$

${\displaystyle C\approx 1.44\cdot {S \over N_{0}}}$

Примеры

1. При SNR 0 дБ (мощность сигнала = мощность шума) пропускная способность в бит/с равна ширине полосы пропускания в герцах.
2. Если SNR составляет 20 дБ, а доступная полоса пропускания составляет 4 кГц, что подходит для телефонной связи, то C = 4000 log ₂ (1 + 100) = 4000 log ₂ (101) = 26,63 кбит/с. Обратите внимание, что значение S/N = 100 эквивалентно SNR 20 дБ.
3. Если требуется передавать со скоростью 50 кбит/с и используется полоса пропускания 10 кГц, то минимальное требуемое отношение сигнал/шум определяется по формуле 50000 = 10000 log ₂ (1+S/N), поэтому C/B = 5, а затем S/N = 2 ⁵ − 1 = 31, что соответствует отношению сигнал/шум 14,91 дБ (10 x log ₁₀ (31)).
4. Какова пропускная способность канала для сигнала с полосой пропускания 1 МГц, полученного с SNR −30 дБ? Это означает, что сигнал глубоко зарыт в шум. −30 дБ означает S/N = 10 ⁻³ . Это приводит к максимальной скорости передачи информации 10 ⁶ log ₂ (1 + 10 ⁻³ ) = 1443 бит/с. Эти значения типичны для принимаемых сигналов дальности GPS, где навигационное сообщение отправляется со скоростью 50 бит/с (ниже пропускной способности канала для данного S/N), и полоса пропускания которого расширена примерно до 1 МГц путем умножения псевдошума перед передачей.
5. Как указано выше, пропускная способность канала пропорциональна полосе пропускания канала и логарифму SNR. Это означает, что пропускную способность канала можно увеличить линейно либо путем увеличения полосы пропускания канала при заданном фиксированном требовании SNR, либо, при фиксированной полосе пропускания, путем использования модуляций более высокого порядка , которым для работы требуется очень высокое SNR. По мере увеличения скорости модуляции спектральная эффективность улучшается, но за счет требования SNR. Таким образом, существует экспоненциальный рост требования SNR, если принять 16QAM или 64QAM ; однако спектральная эффективность улучшается.

Смотрите также

• Теорема выборки Найквиста-Шеннона
• Эб/Н0

Примечания

1. Найквист, Гарри (апрель 1928 г.). «Некоторые темы в теории передачи телеграфа» (PDF) . Trans. AIEE . 47 (2): 617–44. Bibcode : 1928TAIEE..47..617N. doi : 10.1109/T-AIEE.1928.5055024.Также 2002 Переиздание doi :10.1109/5.989873
2. Хартли, Р. В. Л. (июль 1928 г.). «Передача информации» (PDF) . Bell System Technical Journal . 7 (3): 535–563. doi :10.1002/j.1538-7305.1928.tb01236.x.
3. Белл, Д.А. (1962). Теория информации и ее инженерные приложения (3-е изд.). Нью-Йорк: Pitman. ISBN 9780273417576.
4. Гокхале, Ану А. (2004). Введение в телекоммуникации (2-е изд.). Thomson Delmar Learning. ISBN 1-4018-5648-9.
5. Данлоп, Джон; Смит, Д. Джеффри (1998). Телекоммуникационная техника. CRC Press. ISBN 0-7487-4044-9.
6. Шеннон, CE (1998) [1949]. Математическая теория связи (PDF) . Урбана, Иллинойс: Издательство Иллинойсского университета.
7. Шеннон, CE (январь 1949). «Связь в присутствии шума» (PDF) . Труды Института радиоинженеров . 37 (1): 10–21. doi :10.1109/JRPROC.1949.232969. S2CID  52873253. Архивировано из оригинала (PDF) 8 февраля 2010 г.
8. Пирс, Джон Робинсон (1980). Введение в теорию информации: символы, сигналы и шум . Courier. ISBN 0-486-24061-4.

Ссылки

• Тауб, Герберт; Шиллинг, Дональд Л. (1986). Принципы систем связи . McGraw-Hill. ISBN 978-0-07-062956-1. OCLC  12107009.
• Возенкрафт, Джон М.; Якобс, Ирвин Марк (1965). Принципы инженерии связи . Wiley. ISBN 978-0-471-96240-3. OCLC  1325622.

Внешние ссылки

• Онлайн-учебник: Information Theory, Inference, and Learning Algorithms, Дэвида Маккея - дает занимательное и основательное введение в теорию Шеннона, включая два доказательства теоремы о кодировании с шумным каналом. В этом тексте также обсуждаются современные методы из теории кодирования, такие как коды с низкой плотностью проверок на четность и турбокоды .
• Статья в MIT News о пределе Шеннона