Содержание информации

Основная величина, полученная из вероятности возникновения определенного события из случайной величины

В теории информации информационное содержание , самоинформация , неожиданность или информация Шеннона — это базовая величина, выведенная из вероятности конкретного события, происходящего от случайной величины . Ее можно рассматривать как альтернативный способ выражения вероятности, во многом похожий на шансы или логарифм шансов , но имеющий особые математические преимущества в контексте теории информации.

Информация Шеннона может быть интерпретирована как количественная оценка уровня «неожиданности» конкретного результата. Поскольку это такая базовая величина, она также появляется в нескольких других параметрах, таких как длина сообщения, необходимая для передачи события при оптимальном исходном кодировании случайной величины.

Информация Шеннона тесно связана с энтропией , которая является ожидаемым значением собственной информации случайной величины, количественно определяя, насколько случайная величина удивительна «в среднем». Это среднее количество собственной информации, которое наблюдатель ожидает получить о случайной величине при ее измерении. ^[1]

Содержание информации может быть выражено в различных единицах информации , из которых наиболее распространенной является «бит» (более формально называемый шенноном ) , как поясняется ниже.

Термин «недоумение» используется в языковом моделировании для количественной оценки неопределенности, присущей набору предполагаемых событий.

Определение

Определение самоинформации Клода Шеннона было выбрано с учетом нескольких аксиом:

1. Событие с вероятностью 100% совершенно неудивительно и не несет никакой информации.
2. Чем менее вероятно событие, тем оно удивительнее и тем больше информации оно несет.
3. Если два независимых события измеряются отдельно, то общий объем информации представляет собой сумму самоинформации отдельных событий.

Подробный вывод приведен ниже, но можно показать, что существует уникальная функция вероятности, которая удовлетворяет этим трем аксиомам с точностью до мультипликативного масштабного коэффициента. В широком смысле, если задано действительное число и событие с вероятностью , информационное содержание определяется следующим образом: ${\displaystyle b>1}$ ${\displaystyle x}$ ${\displaystyle P}$ $${\displaystyle \mathrm {I} (x):=-\log _{b}{\left[\Pr {\left(x\right)}\right]}=-\log _{b}{\left(P\right)}.}$$

Основание b соответствует масштабному коэффициенту выше. Различные варианты b соответствуют различным единицам информации: когда b = 2 , единицей является шеннон (символ Sh), часто называемый «битом»; когда b = e , единицей является естественная единица информации (символ nat); и когда b = 10 , единицей является хартли (символ Hart).

Формально, если задана дискретная случайная величина с функцией массы вероятности , то самоинформация измерения как результат определяется как ^[2] ${\displaystyle X}$ ${\displaystyle p_{X}{\left(x\right)}}$ ${\displaystyle X}$ ${\displaystyle x}$ $${\displaystyle \operatorname {I} _{X}(x):=-\log {\left[p_{X}{\left(x\right)}\right]}=\log {\left({\frac {1}{p_{X}{\left(x\right)}}}\right)}.}$$

Использование обозначения для самоинформации выше не является универсальным. Поскольку обозначение также часто используется для связанного количества взаимной информации , многие авторы используют строчную букву для самоэнтропии, отражая использование заглавной буквы для энтропии. ${\displaystyle I_{X}(x)}$ ${\displaystyle I(X;Y)}$ ${\displaystyle h_{X}(x)}$ ${\displaystyle H(X)}$

Характеристики

Монотонно убывающая функция вероятности

Для заданного вероятностного пространства измерение более редких событий интуитивно более «удивительно» и дает больше информационного содержания, чем более распространенные значения. Таким образом, самоинформация является строго убывающей монотонной функцией вероятности, или иногда называемой «антитонной» функцией.

В то время как стандартные вероятности представлены действительными числами в интервале , самоинформация представлена ​​расширенными действительными числами в интервале . В частности, для любого выбора логарифмического основания мы имеем следующее: ${\displaystyle [0,1]}$ ${\displaystyle [0,\infty ]}$

• Если вероятность возникновения конкретного события составляет 100%, то его самоинформация такова : его возникновение «совершенно неудивительно» и не несет никакой информации. ${\displaystyle -\log(1)=0}$
• Если вероятность наступления конкретного события составляет 0%, то его внутренняя информация такова : его наступление «бесконечно удивительно». ${\displaystyle -\log(0)=\infty }$

Отсюда можно вывести несколько общих свойств:

• Интуитивно больше информации можно получить, наблюдая неожиданное событие — оно «удивительно».
  • Например, если вероятность выигрыша Алисы в лотерею составляет один к миллиону , то ее друг Боб получит значительно больше информации, узнав, что она выиграла , чем что она проиграла в определенный день. (См. также Математика лотереи .)
• Это устанавливает неявную связь между собственной информацией случайной величины и ее дисперсией .

Отношение к логарифмическим коэффициентам

Информация Шеннона тесно связана с логарифмическими шансами . В частности, если задано некоторое событие , предположим, что это вероятность его возникновения, а это вероятность его не возникновения. Тогда у нас есть следующее определение логарифмических шансов: ${\displaystyle x}$ ${\displaystyle p(x)}$ ${\displaystyle x}$ ${\displaystyle p(\lnot x)=1-p(x)}$ ${\displaystyle x}$ $${\displaystyle {\text{log-odds}}(x)=\log \left({\frac {p(x)}{p(\lnot x)}}\right)}$$

Это можно выразить как разность двух информаций Шеннона: $${\displaystyle {\text{log-odds}}(x)=\mathrm {I} (\lnot x)-\mathrm {I} (x)}$$

Другими словами, логарифм шансов можно интерпретировать как уровень неожиданности, когда событие не происходит, за вычетом уровня неожиданности, когда событие происходит .

Аддитивность независимых событий

Информационное содержание двух независимых событий является суммой информационного содержания каждого события. Это свойство известно как аддитивность в математике и сигма-аддитивность в частности в теории меры и вероятности. Рассмотрим две независимые случайные величины с функциями массы вероятности и соответственно. Совместная функция массы вероятности равна ${\textstyle X,\,Y}$ ${\displaystyle p_{X}(x)}$ ${\displaystyle p_{Y}(y)}$

$${\displaystyle p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)}$$

поскольку и независимы . Информационное содержание результата равно См . § Две независимые , одинаково распределенные игральные кости ниже для примера. ${\textstyle X}$ ${\textstyle Y}$ ${\displaystyle (X,Y)=(x,y)}$ $${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\[5pt]&=-\log _{2}\left[p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\[5pt]&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}}$$

Соответствующее свойство для правдоподобий заключается в том, что логарифмическая вероятность независимых событий является суммой логарифмических вероятностей каждого события. Интерпретируя логарифмическую вероятность как «поддержку» или отрицательную неожиданность (степень, в которой событие поддерживает данную модель: модель поддерживается событием в той степени, в которой событие не является неожиданным, учитывая модель), это означает, что независимые события добавляют поддержку: информация, которую два события вместе предоставляют для статистического вывода, является суммой их независимой информации.

Связь с энтропией

Энтропия Шеннона случайной величины, указанной выше, по определению равна ожидаемому информационному содержанию измерения . ^{[3] : 11  [4] : 19–20} Ожидание берется по дискретным значениям на его носителе . ${\displaystyle X}$ $${\displaystyle {\begin{alignedat}{2}\mathrm {H} (X)&=\sum _{x}{-p_{X}{\left(x\right)}\log {p_{X}{\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}}$$ ${\displaystyle X}$

Иногда энтропию называют «самоинформацией» случайной величины, возможно, потому, что энтропия удовлетворяет , где — взаимная информация самой себя. ^[5] ${\displaystyle \mathrm {H} (X)=\operatorname {I} (X;X)}$ ${\displaystyle \operatorname {I} (X;X)}$ ${\displaystyle X}$

Для непрерывных случайных величин соответствующим понятием является дифференциальная энтропия .

Примечания

Эта мера также называется неожиданностью , поскольку она представляет собой « сюрприз » от видения результата (крайне маловероятный результат очень удивителен). Этот термин (как логарифмическая мера вероятности) был введен Майроном Трибусом в его книге 1961 года «Термостатика и термодинамика» . ^{[6] [7]}

Когда событие представляет собой случайную реализацию (переменной), самоинформация переменной определяется как ожидаемое значение самоинформации реализации.

Самоинформация является примером правильного правила подсчета очков . ^{[ необходимо разъяснение ]}

Примеры

Справедливое подбрасывание монеты

Рассмотрим испытание Бернулли по подбрасыванию честной монеты . Вероятности событий выпадения монеты орлом и решкой (см. честная монета и аверс и реверс ) равны половине каждого, . При измерении переменной как орла связанный с ней прирост информации равен, так что прирост информации от честной монеты, выпавшей орлом, равен 1 шеннону . ^[2] Аналогично, прирост информации от измерения решки равен ${\displaystyle X}$ ${\displaystyle {\text{H}}}$ ${\displaystyle {\text{T}}}$ ${\textstyle p_{X}{({\text{H}})}=p_{X}{({\text{T}})}={\tfrac {1}{2}}=0.5}$ $${\displaystyle \operatorname {I} _{X}({\text{H}})=-\log _{2}{p_{X}{({\text{H}})}}=-\log _{2}\!{\tfrac {1}{2}}=1,}$$ ${\displaystyle T}$ $${\displaystyle \operatorname {I} _{X}(T)=-\log _{2}{p_{X}{({\text{T}})}}=-\log _{2}{\tfrac {1}{2}}=1{\text{ Sh}}.}$$

Честный бросок кубика

Предположим, у нас есть честная шестигранная игральная кость . Значение броска игральной кости — это дискретная равномерная случайная величина с функцией массы вероятности. Вероятность выпадения 4 равна , как и для любого другого допустимого броска. Таким образом, информационное содержание выпадения 4 равно информации. ${\displaystyle X\sim \mathrm {DU} [1,6]}$ $${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}}$$ ${\textstyle p_{X}(4)={\frac {1}{6}}}$ $${\displaystyle \operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{Sh}}}$$

Две независимые, одинаково распределенные игральные кости

Предположим, что у нас есть две независимые, одинаково распределенные случайные величины, каждая из которых соответствует независимому честному броску 6-гранной кости. Совместное распределение и равно ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ ${\displaystyle X}$ ${\displaystyle Y}$ $${\displaystyle {\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

Информационное содержание случайной величины может быть также рассчитано с помощью аддитивности событий. ${\displaystyle (X,Y)=(2,\,4)}$ $${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}},\end{aligned}}}$$ $${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}}.\end{aligned}}}$$

Информация о частоте рулонов

Если мы получаем информацию о значении игральных костей, не зная, какое значение имела игральная кость, мы можем формализовать подход с помощью так называемых переменных подсчета для , тогда и подсчеты имеют полиномиальное распределение $${\displaystyle C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}}$$ ${\displaystyle k\in \{1,2,3,4,5,6\}}$ ${\textstyle \sum _{k=1}^{6}{C_{k}}=2}$ $${\displaystyle {\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

Для проверки этого события 6 результатов соответствуют событию и общая вероятность ⁠ ${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$ ${\displaystyle C_{k}=2}$1/6⁠ . Это единственные события, которые добросовестно сохраняются с идентичностью того, какой кубик выпал с каким результатом, потому что результаты одинаковы. Без знания того, как отличить кубик от других чисел, другие комбинации соответствуют одному кубику, выпавшему одно число, и другому кубику, выпавшему другое число, каждое из которых имеет вероятность ⁠ ${\textstyle {\binom {6}{2}}=15}$ 1/18⁠ . Действительно, , как и требовалось. ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$

Неудивительно, что информационное содержание обучения, что оба кубика были брошены с одним и тем же конкретным числом, больше информационного содержания обучения, что один кубик был одним числом, а другой — другим числом. Возьмем для примера события и для . Например, и . ${\displaystyle A_{k}=\{(X,Y)=(k,k)\}}$ ${\displaystyle B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}}$ ${\displaystyle j\neq k,1\leq j,k\leq 6}$ ${\displaystyle A_{2}=\{X=2{\text{ and }}Y=2\}}$ ${\displaystyle B_{3,4}=\{(3,4),(4,3)\}}$

Содержание информации: $${\displaystyle \operatorname {I} (A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{ Sh}}}$$ $${\displaystyle \operatorname {I} \left(B_{3,4}\right)=-\log _{2}\!{\tfrac {1}{18}}=4.169925{\text{ Sh}}}$$

Пусть будет событием, что обе кости выпали с одинаковым значением, а будет событием, что кости выпали с разным значением. Тогда и . Информационное содержание событий равно ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ${\displaystyle {\text{Diff}}={\overline {\text{Same}}}}$ ${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$ ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$ $${\displaystyle \operatorname {I} ({\text{Same}})=-\log _{2}\!{\tfrac {1}{6}}=2.5849625{\text{ Sh}}}$$ $${\displaystyle \operatorname {I} ({\text{Diff}})=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{ Sh}}.}$$

Информация из суммы кубика

Масса вероятности или функция плотности (совместно мера вероятности ) суммы двух независимых случайных величин является сверткой каждой меры вероятности . В случае независимых честных бросков 6-гранных игральных костей случайная величина имеет функцию массы вероятности , где представляет собой дискретную свертку . Результат имеет вероятность . Следовательно, утверждаемая информация ${\displaystyle Z=X+Y}$ ${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \over 36}}$ ${\displaystyle *}$ ${\displaystyle Z=5}$ ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$ $${\displaystyle \operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{9}}=\log _{2}{9}\approx 3.169925{\text{ Sh}}.}$$

Общее дискретное равномерное распределение

Обобщая приведенный выше пример § Честного броска игральной кости, рассмотрим общую дискретную равномерную случайную величину (DURV). Для удобства определим . Функция массы вероятности равна В общем случае значения DURV не обязательно должны быть целыми числами или для целей теории информации даже равномерно распределенными; они должны быть только равновероятными . ^[2] Прирост информации любого наблюдения равен ${\displaystyle X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.}$ ${\textstyle N:=b-a+1}$ $${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}.\end{cases}}}$$ ${\displaystyle X=k}$ $${\displaystyle \operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ Sh}}.}$$

Особый случай: постоянная случайная величина

Если выше, вырождается в постоянную случайную величину с распределением вероятностей, детерминированно заданным как и вероятностной мерой меры Дирака . Единственное значение, которое может принимать, это детерминированно , поэтому информационное содержание любого измерения равно В общем случае, нет никакой информации, полученной из измерения известного значения. ^[2] ${\displaystyle b=a}$ ${\displaystyle X}$ ${\displaystyle X=b}$ ${\textstyle p_{X}(k)=\delta _{b}(k)}$ ${\displaystyle X}$ ${\displaystyle b}$ ${\displaystyle X}$ $${\displaystyle \operatorname {I} _{X}(b)=-\log _{2}{1}=0.}$$

Категориальное распределение

Обобщая все вышеперечисленные случаи, рассмотрим категориальную дискретную случайную величину с функцией поддержки и вероятности, заданной формулой ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$

$${\displaystyle p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}.\end{cases}}}$$

Для целей теории информации значения не обязательно должны быть числами ; они могут быть любыми взаимоисключающими событиями на пространстве меры конечной меры , нормализованными к мере вероятности . Без потери общности можно предположить, что категориальное распределение поддерживается на множестве ; математическая структура изоморфна в терминах теории вероятностей , а следовательно, и теории информации . ${\displaystyle s\in {\mathcal {S}}}$ ${\displaystyle p}$ ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$

Информация о результате предоставляется ${\displaystyle X=x}$

$${\displaystyle \operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.}$$

Из этих примеров можно вычислить информацию любого набора независимых DRV с известными распределениями по аддитивности .

Вывод

По определению, информация передается от исходного субъекта, владеющего информацией, к получающему субъекту только тогда, когда получатель не знал эту информацию априори . Если получающий субъект заранее знал содержание сообщения с уверенностью до его получения, объем информации полученного сообщения равен нулю. Только когда предварительное знание содержания сообщения получателем менее 100% определенно, сообщение фактически передает информацию.

Например, цитируя персонажа комика Джорджа Карлина (хиппи-диппи-синоптика) :

Прогноз погоды на сегодня: темно. Ночью темно, к утру будет широко рассеянный свет. ^[8]

Если предположить, что человек не проживает вблизи полярных регионов , то объем информации, содержащейся в этом прогнозе, равен нулю, поскольку еще до получения прогноза известно, что с наступлением ночи всегда наступает темнота.

Соответственно, количество собственной информации, содержащейся в сообщении, передающем содержание, информирующее о наступлении события , зависит только от вероятности этого события. ${\displaystyle \omega _{n}}$

$${\displaystyle \operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))}$$для некоторой функции , которая будет определена ниже. Если , то . Если , то . ${\displaystyle f(\cdot )}$ ${\displaystyle \operatorname {P} (\omega _{n})=1}$ ${\displaystyle \operatorname {I} (\omega _{n})=0}$ ${\displaystyle \operatorname {P} (\omega _{n})<1}$ ${\displaystyle \operatorname {I} (\omega _{n})>0}$

Далее, по определению, мера самоинформации неотрицательна и аддитивна. Если сообщение, информирующее о событии, является пересечением двух независимых событий и , то информация о событии, происходящем, является информацией составного сообщения как о независимых событиях, так и о происходящем. Количество информации составного сообщения, как ожидается, будет равно сумме количеств информации отдельных компонентных сообщений и соответственно: ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ $${\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B).}$$

Из-за независимости событий и вероятность события равна ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ $${\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B).}$$

Однако применение функции приводит к ${\displaystyle f(\cdot )}$ $${\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}$$

Благодаря работе над функциональным уравнением Коши , единственными монотонными функциями, имеющими свойство, являются логарифмические функции . Единственное операциональное различие между логарифмами разных оснований заключается в различных масштабных константах, поэтому мы можем предположить ${\displaystyle f(\cdot )}$ $${\displaystyle f(x\cdot y)=f(x)+f(y)}$$ ${\displaystyle \log _{b}(x)}$

$${\displaystyle f(x)=K\log(x)}$$

где — натуральный логарифм . Поскольку вероятности событий всегда находятся в диапазоне от 0 до 1, а информация, связанная с этими событиями, должна быть неотрицательной, это требует, чтобы . ${\displaystyle \log }$ ${\displaystyle K<0}$

Принимая во внимание эти свойства, самоинформация, связанная с результатом с вероятностью, определяется как: ${\displaystyle \operatorname {I} (\omega _{n})}$ ${\displaystyle \omega _{n}}$ ${\displaystyle \operatorname {P} (\omega _{n})}$ $${\displaystyle \operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)}$$

Чем меньше вероятность события , тем больше количество собственной информации, связанной с сообщением о том, что событие действительно произошло. Если указанный выше логарифм имеет основание 2, то единицей измерения является шеннон . Это наиболее распространенная практика. При использовании натурального логарифма с основанием единицей измерения будет нат . Для логарифма с основанием 10 единицей измерения информации является хартли . ${\displaystyle \omega _{n}}$ ${\displaystyle I(\omega _{n})}$ ${\displaystyle e}$

В качестве краткой иллюстрации, информационное содержание, связанное с результатом 4 орла (или любого конкретного результата) в 4 последовательных подбрасываниях монеты, будет 4 шеннона (вероятность 1/16), а информационное содержание, связанное с получением результата, отличного от указанного, будет ~0,09 шеннона (вероятность 15/16). Подробные примеры см. выше.

Смотрите также

• сложность Колмогорова
• Неожиданный анализ

Ссылки

1. Джонс, Д.С., Элементарная теория информации , т., Clarendon Press, Оксфорд, стр. 11–15, 1979 г.
2. Макмахон, Дэвид М. (2008). Объяснение квантовых вычислений . Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 9780470181386. OCLC  608622533.
3. Борда, Моника (2011). Основы теории информации и кодирования. Springer. ISBN 978-3-642-20346-6.
4. Хан, Те Сан; Кобаяши, Кинго (2002). Математика информации и кодирования. Американское математическое общество. ISBN 978-0-8218-4256-0.
5. Томас М. Кавер, Джой А. Томас; Элементы теории информации; стр. 20; 1991.
6. Р. Б. Бернстайн и Р. Д. Левин (1972) «Энтропия и химические изменения. I. Характеристика энергетических распределений продуктов (и реагентов) в столкновениях реактивных молекул: дефицит информации и энтропии», Журнал химической физики 57 , ссылка 434–449.
7. Майрон Трибус (1961) Термодинамика и термостатика: введение в энергию, информацию и состояния материи с инженерными приложениями (Д. Ван Ностранд, 24 West 40 Street, New York 18, Нью-Йорк, США) Трибус, Майрон (1961), стр. 64–66 заимствовано.
8. "Цитата Джорджа Карлина". www.goodreads.com . Получено 01.04.2021 .

Дальнейшее чтение

• CE Шеннон , Математическая теория связи , Bell Systems Technical Journal , т. 27, стр. 379–423, (часть I), 1948.

Внешние ссылки

• Примеры неожиданных мер
• «Сюрпризная» запись в глоссарии молекулярной теории информации
• Байесовская теория неожиданности