Шеннон (символ: Sh) — единица информации , названная в честь Клода Шеннона , основателя теории информации . МЭК 80000-13 определяет шеннон как информационное содержание , связанное с событием, когда вероятность возникновения события равна1/2. Он понимается как таковой в сфере теории информации и концептуально отличается от бита , термина, используемого при обработке и хранении данных для обозначения единственного экземпляра двоичного сигнала . Последовательность из n двоичных символов (например, содержащаяся в памяти компьютера или при передаче двоичных данных) правильно описывается как состоящая из n битов, но информационное содержание этих n символов может быть больше или меньше n Шеннонов в зависимости от априорной вероятности . реальной последовательности символов. [1]
Шеннон также служит единицей информационной энтропии события, которая определяется как ожидаемое значение информационного содержания события (т. е. средневзвешенное по вероятности информационного содержания всех потенциальных событий). Учитывая количество возможных исходов, в отличие от содержания информации, энтропия имеет верхнюю границу, которая достигается, когда возможные исходы равновероятны. Максимальная энтропия n бит равна n Sh. Еще одной величиной, для которой он используется, является пропускная способность канала , которая обычно представляет собой максимальное ожидаемое значение информационного контента, закодированного по каналу, который может быть передан с незначительной вероятностью ошибки, обычно в форме скорости передачи данных.
Тем не менее, даже в области теории информации и коммуникации чаще можно услышать термин « биты информации» или просто «биты» , а не «Шеннон» ; поэтому простое высказывание битов может быть неоднозначным. Использование единицы Шеннон является явной ссылкой на количество информационного контента, информационную энтропию или пропускную способность канала и не ограничивается двоичными данными, [2] тогда как «биты» также могут относиться к количеству задействованных двоичных символов, как и термин, используемый в таких областях, как обработка данных.
Шеннон связан через константы пропорциональности с двумя другими единицами информации: [3]
Хартли , редко используемая единица, названа в честь Ральфа Хартли , инженера-электронщика , интересующегося пропускной способностью каналов связи. Несмотря на более ограниченный характер, его ранние работы, предшествовавшие работе Шеннона, сделали его также признанным пионером теории информации. Точно так же, как Шеннон описывает максимально возможную информационную емкость двоичного символа, Хартли описывает информацию, которая может содержаться в 10-значном символе, то есть цифровое значение в диапазоне от 0 до 9, когда априорная вероятность каждого значение1/10. Приведенный выше коэффициент пересчета равен log 10 (2).
В математических выражениях нат является более естественной единицей информации, но 1 нат не соответствует случаю, когда все возможности равновероятны, в отличие от Шеннона и Хартли. В каждом случае формулы для количественной оценки информационной емкости или энтропии включают логарифмирование выражения , включающего вероятности. Если используются логарифмы с основанием 2, результат выражается в шеннонах, если с основанием 10 ( десятичные логарифмы ), то результат выражается в хартли, а если используются натуральные логарифмы (основание е ), результат выражается в нац. Например, информационная емкость 16-битной последовательности (достигаемая, когда все 65536 возможных последовательностей равновероятны) определяется выражением log(65536), таким образом log 10 (65536) Hart ≈ 4,82 Hart , log e (65536) nat ≈ 11,09 nat , или log 2 (65536) Sh = 16 Sh .
В теории информации и производных областях, таких как теория кодирования , невозможно количественно оценить «информацию» в одном сообщении (последовательности символов) вне контекста, а скорее делается ссылка на модель канала (например, коэффициент ошибок по битам ). или к базовой статистике источника информации. Таким образом, существуют различные меры информации или связанные с ней , и все они могут использовать шеннон в качестве единицы. [ нужна цитата ]
Например, в приведенном выше примере можно сказать, что 16-битный канал имеет пропускную способность 16 Sh, но при подключении к конкретному источнику информации, который отправляет только одно из 8 возможных сообщений, можно было бы вычислить энтропию его вывода. как не более 3 Ш. А если бы уже было проинформировано по побочному каналу, в котором находится сообщение из набора из 4 возможных сообщений, то можно было бы вычислить взаимную информацию нового сообщения (имеющего 8 возможных состояний) как не более 2 Ш. Хотя существуют бесконечные возможности для выбора действительного числа от 0 до 1, так называемая дифференциальная энтропия может использоваться для количественной оценки информационного содержания аналогового сигнала, например, связанного с улучшением отношения сигнал/шум или достоверностью проверка гипотезы . [ нужна цитата ]
Международная система единиц рекомендует использовать шеннон (Sh) в качестве информационной единицы вместо бита, чтобы отличить объем информации от количества данных, которые могут быть использованы для представления этой информации. Таким образом, согласно стандарту СИ, H ( X ) фактически должно выражаться в шеннонах. Энтропия одного бита лежит между 0 и 1 Sh.