Аддитивный белый гауссовский шум

Базовая модель шума, используемая в теории информации

Аддитивный белый гауссовский шум ( AWGN ) — это базовая модель шума, используемая в теории информации для имитации эффекта многих случайных процессов, происходящих в природе. Модификаторы обозначают конкретные характеристики:

• Аддитивный, поскольку добавляется к любому шуму, который может быть присущ информационной системе.
• Белый цвет относится к идее, что он имеет равномерную спектральную плотность мощности по всему диапазону частот для информационной системы. Это аналогия с белым цветом , который может быть реализован равномерными излучениями на всех частотах в видимом спектре .
• Гауссовским , поскольку имеет нормальное распределение во временной области со средним значением во временной области, равным нулю ( гауссовский процесс ).

Широкополосный шум возникает из многих естественных источников шума, таких как тепловые колебания атомов в проводниках (называемые тепловым шумом или шумом Джонсона-Найквиста ), дробовой шум , излучение черного тела от Земли и других теплых объектов, а также от небесных источников, таких как Солнце. Центральная предельная теорема теории вероятностей указывает, что суммирование многих случайных процессов будет иметь тенденцию к распределению, называемому гауссовым или нормальным.

AWGN часто используется как модель канала , в которой единственным ухудшением связи является линейное добавление широкополосного или белого шума с постоянной спектральной плотностью (выраженной в ваттах на герц полосы пропускания ) и гауссовым распределением амплитуды. Модель не учитывает затухание , частотную селективность, помехи , нелинейность или дисперсию . Однако она создает простые и послушные математические модели, которые полезны для получения представления о базовом поведении системы до того, как будут рассмотрены эти другие явления.

Канал AWGN является хорошей моделью для многих спутниковых и дальних космических каналов связи. Это не очень хорошая модель для большинства наземных каналов из-за многолучевого распространения, блокировки рельефом, помех и т. д. Однако для моделирования наземного пути AWGN обычно используется для имитации фонового шума исследуемого канала, в дополнение к многолучевому распространению, блокировке рельефом, помехам, помехам от земли и собственным помехам, с которыми сталкиваются современные радиосистемы при наземной работе.

Пропускная способность канала

Канал AWGN представлен серией выходов с индексом дискретного времени события . представляет собой сумму входных данных и шума, , где является независимым и одинаково распределенным и взят из нормального распределения с нулевым средним и дисперсией (шум). Кроме того, предполагается, что они не коррелируют с . ${\displaystyle Y_{i}}$ ${\displaystyle i}$ ${\displaystyle Y_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle Z_{i}}$ ${\displaystyle Z_{i}}$ ${\displaystyle N}$ ${\displaystyle Z_{i}}$ ${\displaystyle X_{i}}$

${\displaystyle Z_{i}\sim {\mathcal {N}}(0,N)\,\!}$

${\displaystyle Y_{i}=X_{i}+Z_{i}.\,\!}$

Пропускная способность канала бесконечна, если только шум не равен нулю, и они достаточно ограничены. Наиболее распространенным ограничением на входе является так называемое ограничение "мощности", требующее, чтобы для кодового слова, переданного по каналу, мы имели: ${\displaystyle N}$ ${\displaystyle X_{i}}$ ${\displaystyle (x_{1},x_{2},\dots ,x_{k})}$

${\displaystyle {\frac {1}{k}}\sum _{i=1}^{k}x_{i}^{2}\leq P,}$

где представляет максимальную мощность канала. Таким образом, пропускная способность канала с ограниченной мощностью определяется как: ^{[ необходимо уточнение ]} ${\displaystyle P}$

${\displaystyle C=\max \left\{I(X;Y):f{\text{ s.t. }}E\left(X^{2}\right)\leq P\right\}\,\!}$

где - распределение . Разложим , записав его в терминах дифференциальной энтропии : ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle I(X;Y)}$

${\displaystyle {\begin{aligned}&I(X;Y)=h(Y)-h(Y\mid X)\\[5pt]={}&h(Y)-h(X+Z\mid X)\\[5pt]={}&h(Y)-h(Z\mid X)\end{aligned}}\,\!}$

Но и независимы, поэтому: ${\displaystyle X}$ ${\displaystyle Z}$

${\displaystyle I(X;Y)=h(Y)-h(Z)\,\!}$

Оценка дифференциальной энтропии гауссовой функции дает:

${\displaystyle h(Z)={\frac {1}{2}}\log(2\pi eN)\,\!}$

Поскольку и независимы, их сумма дает : ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle Y}$

${\displaystyle E(Y^{2})=E((X+Z)^{2})=E(X^{2})+2E(X)E(Z)+E(Z^{2})\leq P+N\,\!}$

Из этой границы мы выводим из свойства дифференциальной энтропии, что

${\displaystyle h(Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))\,\!}$

Таким образом, пропускная способность канала определяется максимально достижимой границей взаимной информации :

${\displaystyle I(X;Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))-{\frac {1}{2}}\log(2\pi eN)\,\!}$

Где максимизируется, когда: ${\displaystyle I(X;Y)}$

${\displaystyle X\sim {\mathcal {N}}(0,P)\,\!}$

Таким образом, пропускная способность канала AWGN определяется по формуле: ${\displaystyle C}$

${\displaystyle C={\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)\,\!}$

Пропускная способность канала и сферическая упаковка

Предположим, что мы отправляем сообщения по каналу с индексом от до , количество различных возможных сообщений. Если мы кодируем сообщения в биты, то мы определяем скорость как: ${\displaystyle 1}$ ${\displaystyle M}$ ${\displaystyle M}$ ${\displaystyle n}$ ${\displaystyle R}$

${\displaystyle R={\frac {\log M}{n}}\,\!}$

Скорость считается достижимой, если существует последовательность кодов, при которой максимальная вероятность ошибки стремится к нулю по мере приближения к бесконечности. Мощность — это наивысшая достижимая скорость. ${\displaystyle n}$ ${\displaystyle C}$

Рассмотрим кодовое слово длиной, отправленное по каналу AWGN с уровнем шума . При получении дисперсия вектора кодового слова теперь равна , а ее среднее значение — отправленное кодовое слово. Весьма вероятно, что вектор будет содержаться в сфере радиусом вокруг отправленного кодового слова. Если мы декодируем, отображая каждое полученное сообщение на кодовое слово в центре этой сферы, то ошибка возникает только тогда, когда полученный вектор находится за пределами этой сферы, что весьма маловероятно. ${\displaystyle n}$ ${\displaystyle N}$ ${\displaystyle N}$ ${\textstyle {\sqrt {n(N+\varepsilon )}}}$

Каждый вектор кодового слова имеет связанную сферу полученных векторов кодового слова, которые декодируются в него, и каждая такая сфера должна однозначно отображаться на кодовое слово. Поскольку эти сферы не должны пересекаться, мы сталкиваемся с проблемой упаковки сфер . Сколько различных кодовых слов мы можем упаковать в наш -битный вектор кодового слова? Полученные векторы имеют максимальную энергию и, следовательно, должны занимать сферу радиусом . Каждая сфера кодового слова имеет радиус . Объем n -мерной сферы прямо пропорционален , поэтому максимальное количество однозначно декодируемых сфер, которые могут быть упакованы в нашу сферу с мощностью передачи P, равно: ${\displaystyle n}$ ${\displaystyle n(P+N)}$ ${\textstyle {\sqrt {n(P+N)}}}$ ${\displaystyle {\sqrt {nN}}}$ ${\displaystyle r^{n}}$

${\displaystyle {\frac {(n(P+N))^{n/2}}{(nN)^{n/2}}}=2^{(n/2)\log \left(1+P/N\right)}\,\!}$

Согласно этому аргументу, скорость R не может быть больше, чем . ${\displaystyle {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)}$

Достижимость

В этом разделе мы показываем достижимость верхней границы ставки из предыдущего раздела.

Кодовая книга, известная как кодеру, так и декодеру, генерируется путем выбора кодовых слов длины n , iid гауссовских с дисперсией и средним значением 0. Для больших n эмпирическая дисперсия кодовой книги будет очень близка к дисперсии ее распределения, тем самым избегая нарушения ограничения мощности вероятностно. ${\displaystyle P-\varepsilon }$

Полученные сообщения декодируются в сообщение в кодовой книге, которое является уникальным совместно типичным. Если такого сообщения нет или если ограничение мощности нарушено, объявляется ошибка декодирования.

Пусть обозначает кодовое слово для сообщения , а есть, как и прежде полученный вектор. Определим следующие три события: ${\displaystyle X^{n}(i)}$ ${\displaystyle i}$ ${\displaystyle Y^{n}}$

1. Событие : мощность полученного сообщения больше, чем . ${\displaystyle U}$ ${\displaystyle P}$
2. Событие : переданные и полученные кодовые слова не являются совместно типичными. ${\displaystyle V}$
3. Событие : находится в , типичном наборе , где , то есть неправильное кодовое слово является типичным совместно с полученным вектором. ${\displaystyle E_{j}}$ ${\displaystyle (X^{n}(j),Y^{n})}$ ${\displaystyle A_{\varepsilon }^{(n)}}$ ${\displaystyle i\neq j}$

Таким образом, ошибка возникает, если , или происходит любое из . По закону больших чисел, стремится к нулю, когда n стремится к бесконечности, и по совместному свойству асимптотического равнораспределения то же самое применимо к . Следовательно, для достаточно большого , и каждый меньше . Поскольку и независимы для , мы имеем, что и также независимы. Следовательно, по совместному AEP, . Это позволяет нам вычислить , вероятность ошибки следующим образом: ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle E_{i}}$ ${\displaystyle P(U)}$ ${\displaystyle P(V)}$ ${\displaystyle n}$ ${\displaystyle P(U)}$ ${\displaystyle P(V)}$ ${\displaystyle \varepsilon }$ ${\displaystyle X^{n}(i)}$ ${\displaystyle X^{n}(j)}$ ${\displaystyle i\neq j}$ ${\displaystyle X^{n}(i)}$ ${\displaystyle Y^{n}}$ ${\displaystyle P(E_{j})=2^{-n(I(X;Y)-3\varepsilon )}}$ ${\displaystyle P_{e}^{(n)}}$

${\displaystyle {\begin{aligned}P_{e}^{(n)}&\leq P(U)+P(V)+\sum _{j\neq i}P(E_{j})\\&\leq \varepsilon +\varepsilon +\sum _{j\neq i}2^{-n(I(X;Y)-3\varepsilon )}\\&\leq 2\varepsilon +(2^{nR}-1)2^{-n(I(X;Y)-3\varepsilon )}\\&\leq 2\varepsilon +(2^{3n\varepsilon })2^{-n(I(X;Y)-R)}\\&\leq 3\varepsilon \end{aligned}}}$

Поэтому, когда n стремится к бесконечности, стремится к нулю и . Поэтому существует код скорости R, произвольно близкий к емкости, полученной ранее. ${\displaystyle P_{e}^{(n)}}$ ${\displaystyle R<I(X;Y)-3\varepsilon }$

Теорема кодирования обратная

Здесь мы показываем, что показатели, превышающие пропускную способность, недостижимы. ${\displaystyle C={\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)}$

Предположим, что ограничение мощности выполняется для кодовой книги, и далее предположим, что сообщения следуют равномерному распределению. Пусть будут входными сообщениями и выходными сообщениями. Таким образом, информация течет как: ${\displaystyle W}$ ${\displaystyle {\hat {W}}}$

${\displaystyle W\longrightarrow X^{(n)}(W)\longrightarrow Y^{(n)}\longrightarrow {\hat {W}}}$

Используя неравенство Фано, получаем:

${\displaystyle H(W\mid {\hat {W}})\leq 1+nRP_{e}^{(n)}=n\varepsilon _{n}}$тогда как ${\displaystyle \varepsilon _{n}\rightarrow 0}$ ${\displaystyle P_{e}^{(n)}\rightarrow 0}$

Пусть будет закодированным сообщением кодового слова индекса i . Тогда: ${\displaystyle X_{i}}$

${\displaystyle {\begin{aligned}nR&=H(W)\\&=I(W;{\hat {W}})+H(W\mid {\hat {W}})\\&\leq I(W;{\hat {W}})+n\varepsilon _{n}\\&\leq I(X^{(n)};Y^{(n)})+n\varepsilon _{n}\\&=h(Y^{(n)})-h(Y^{(n)}\mid X^{(n)})+n\varepsilon _{n}\\&=h(Y^{(n)})-h(Z^{(n)})+n\varepsilon _{n}\\&\leq \sum _{i=1}^{n}h(Y_{i})-h(Z^{(n)})+n\varepsilon _{n}\\&\leq \sum _{i=1}^{n}I(X_{i};Y_{i})+n\varepsilon _{n}\end{aligned}}}$

Пусть будет средней мощностью кодового слова индекса i: ${\displaystyle P_{i}}$

${\displaystyle P_{i}={\frac {1}{2^{nR}}}\sum _{w}x_{i}^{2}(w)\,\!}$

где сумма берется по всем входным сообщениям и независима , поэтому ожидание мощности равно для уровня шума : ${\displaystyle w}$ ${\displaystyle X_{i}}$ ${\displaystyle Z_{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle N}$

${\displaystyle E(Y_{i}^{2})=P_{i}+N\,\!}$

И, если распределено нормально, то имеем, что ${\displaystyle Y_{i}}$

${\displaystyle h(Y_{i})\leq {\frac {1}{2}}\log {2\pi e}(P_{i}+N)\,\!}$

Поэтому,

${\displaystyle {\begin{aligned}nR&\leq \sum (h(Y_{i})-h(Z_{i}))+n\varepsilon _{n}\\&\leq \sum \left({\frac {1}{2}}\log(2\pi e(P_{i}+N))-{\frac {1}{2}}\log(2\pi eN)\right)+n\varepsilon _{n}\\&=\sum {\frac {1}{2}}\log \left(1+{\frac {P_{i}}{N}}\right)+n\varepsilon _{n}\end{aligned}}}$

Мы можем применить равенство Йенсена к , вогнутой (нисходящей) функции x , и получить: ${\displaystyle \log(1+x)}$

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}{\frac {1}{2}}\log \left(1+{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\,\!}$

Поскольку каждое кодовое слово в отдельности удовлетворяет ограничению мощности, среднее значение также удовлетворяет ограничению мощности. Следовательно,

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}},\,\!}$

которое мы можем применить для упрощения неравенства выше и получить:

${\displaystyle {\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right).\,\!}$

Следовательно, должно быть так, что . Следовательно, R должно быть меньше значения, произвольно близкого к емкости, полученной ранее, как . ${\displaystyle R\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)+\varepsilon _{n}}$ ${\displaystyle \varepsilon _{n}\rightarrow 0}$

Эффекты во временной области

Нулевые переходы шумного косинуса

В последовательной передаче данных математическая модель AWGN используется для моделирования ошибки синхронизации, вызванной случайным джиттером (RJ).

График справа показывает пример ошибок синхронизации, связанных с AWGN. Переменная Δ t представляет неопределенность в пересечении нуля. По мере увеличения амплитуды AWGN отношение сигнал/шум уменьшается. Это приводит к увеличению неопределенности Δ t . ^[1]

При воздействии AWGN среднее число положительных или отрицательных пересечений нуля в секунду на выходе узкополосного полосового фильтра, когда на вход подается синусоидальная волна, равно

${\displaystyle {\begin{aligned}&{\frac {\text{positive zero crossings}}{\text{second}}}={\frac {\text{negative zero crossings}}{\text{second}}}\\[8pt]={}&f_{0}{\sqrt {\frac {{\text{SNR}}+1+{\frac {B^{2}}{12f_{0}^{2}}}}{{\text{SNR}}+1}}},\end{aligned}}}$

где

ƒ ₀ = центральная частота фильтра,

B = полоса пропускания фильтра,

SNR = отношение мощности сигнала к шуму в линейном выражении.

Эффекты в фазорной области

Вклад AWGN в область фазора

В современных системах связи нельзя игнорировать AWGN с ограниченной полосой пропускания. При моделировании AWGN с ограниченной полосой пропускания в области фазора статистический анализ показывает, что амплитуды действительных и мнимых вкладов являются независимыми переменными, которые следуют модели гауссовского распределения . При объединении величина результирующего фазора является случайной величиной , распределенной по закону Рэлея , в то время как фаза равномерно распределена от 0 до 2 π .

График справа показывает пример того, как ограниченный по полосе AWGN может влиять на когерентный несущий сигнал. Мгновенный отклик вектора шума не может быть точно предсказан, однако его усредненный по времени отклик может быть статистически предсказан. Как показано на графике, мы уверенно предсказываем, что вектор шума будет находиться около 38% времени внутри круга 1 σ , около 86% времени внутри круга 2 σ и около 98% времени внутри круга 3 σ . ^[1]

Смотрите также

• Отскок от земли
• Теорема кодирования в шумном канале
• Гауссовский процесс

Ссылки

1. McClaning, Kevin, Radio Receiver Design , Noble Publishing Corporation