Теория информации

Научное изучение цифровой информации

Теория информации — это математическое исследование квантификации , хранения и передачи информации . Эта область была создана и поставлена ​​на прочную основу Клодом Шенноном в 1940 - х годах, ^[1] хотя ранние вклады были сделаны в 1920-х годах благодаря работам Гарри Найквиста и Ральфа Хартли . Она находится на стыке электронной инженерии , математики , статистики , компьютерных наук , нейробиологии , физики и электротехники . ^{[2] [3]}

Ключевой мерой в теории информации является энтропия . Энтропия количественно определяет количество неопределенности, включенной в значение случайной величины или результат случайного процесса . Например, определение результата честного подбрасывания монеты (который имеет два равновероятных результата) дает меньше информации (меньшая энтропия, меньшая неопределенность), чем определение результата броска игральной кости ( который имеет шесть равновероятных результатов). Некоторые другие важные меры в теории информации - это взаимная информация , пропускная способность канала , показатели ошибок и относительная энтропия . Важные подобласти теории информации включают кодирование источника , теорию алгоритмической сложности , алгоритмическую теорию информации и информационно-теоретическую безопасность .

Приложения фундаментальных тем теории информации включают кодирование источника/ сжатие данных (например, для файлов ZIP ), а также кодирование канала/ обнаружение и исправление ошибок (например, для DSL ). Его влияние имело решающее значение для успеха миссий Voyager в дальний космос, изобретения компакт-диска , осуществимости мобильных телефонов и развития Интернета. ^[3] Теория нашла применение в других областях, включая статистический вывод , ^[4] криптографию , нейробиологию , ^[5] восприятие , ^[6] обработку сигналов , ^[2] лингвистику, эволюцию ^[7] и функцию ^[8] молекулярных кодов ( биоинформатика ), теплофизику , ^[9] молекулярную динамику , ^[10] черные дыры , квантовые вычисления , поиск информации , сбор разведданных , обнаружение плагиата , ^[11] распознавание образов , обнаружение аномалий , ^[12] анализ музыки , ^{[13] [14]} создание произведений искусства , ^[15] проектирование систем визуализации, ^[16] изучение космического пространства , ^[17] размерность пространства , ^[18] и даже эпистемологию . ^[19]

Обзор

Теория информации изучает передачу, обработку, извлечение и использование информации . Абстрактно, информацию можно рассматривать как разрешение неопределенности. В случае передачи информации по шумному каналу эта абстрактная концепция была формализована в 1948 году Клодом Шенноном в статье под названием «Математическая теория связи» , в которой информация рассматривается как набор возможных сообщений, а цель состоит в том, чтобы отправить эти сообщения по шумному каналу и заставить получателя восстановить сообщение с низкой вероятностью ошибки, несмотря на шум канала. Основной результат Шеннона, теорема о кодировании канала с шумом , показала, что в пределе многих использований канала скорость информации, которая асимптотически достижима, равна пропускной способности канала, величине, зависящей только от статистики канала, по которому отправляются сообщения. ^[5]

Теория кодирования занимается поиском явных методов, называемых кодами , для повышения эффективности и снижения частоты ошибок передачи данных по шумным каналам до уровня, близкого к пропускной способности канала. Эти коды можно грубо разделить на методы сжатия данных (кодирование источника) и исправления ошибок (кодирование канала). В последнем случае потребовалось много лет, чтобы найти методы, которые, как доказала работа Шеннона, были возможны. ^{[ необходима цитата ]}

Третий класс кодов теории информации — это криптографические алгоритмы (как коды , так и шифры ). Концепции, методы и результаты теории кодирования и теории информации широко используются в криптографии и криптоанализе , например, блок запрета . ^{[ требуется цитата ]}

Историческая справка

Знаковым событием, положившим начало дисциплине теории информации и немедленно привлекшим к ней внимание всего мира, стала публикация классической статьи Клода Э. Шеннона «Математическая теория связи» в Bell System Technical Journal в июле и октябре 1948 года. Он стал известен как «отец теории информации». ^{[20] [21] [22]} Шеннон изложил некоторые из своих первоначальных идей теории информации еще в 1939 году в письме Ванневару Бушу . ^[22]

До этой статьи в Bell Labs были разработаны ограниченные идеи теории информации , все из которых неявно предполагали, что события имеют равную вероятность. Статья Гарри Найквиста 1924 года « Определенные факторы, влияющие на скорость телеграфа » содержит теоретический раздел, количественно определяющий «интеллект» и «скорость линии», с которой он может передаваться системой связи, давая соотношение W = K log m (вспоминая постоянную Больцмана ), где W — скорость передачи интеллекта, m — количество различных уровней напряжения для выбора на каждом временном шаге, а K — константа. Статья Ральфа Хартли 1928 года «Передача информации » использует слово «информация» как измеримую величину, отражающую способность приемника отличать одну последовательность символов от любой другой, таким образом количественно определяя информацию как H = log S ⁿ = n log S , где S — количество возможных символов, а n — количество символов в передаче. Единицей информации поэтому была десятичная цифра , которую с тех пор иногда называли Хартли в его честь как единицу или шкалу или меру информации. Алан Тьюринг в 1940 году использовал похожие идеи в рамках статистического анализа взлома немецких шифров Enigma времен Второй мировой войны . ^{[ необходима цитата ]}

Большая часть математики, лежащей в основе теории информации с событиями различной вероятности, была разработана для области термодинамики Людвигом Больцманом и Дж. Уиллардом Гиббсом . Связи между энтропией теории информации и термодинамической энтропией, включая важный вклад Рольфа Ландауэра в 1960-х годах, исследуются в Энтропии в термодинамике и теории информации . ^{[ требуется ссылка ]}

В революционной и новаторской статье Шеннона, работа над которой была в основном завершена в Bell Labs к концу 1944 года, Шеннон впервые представил качественную и количественную модель коммуникации как статистического процесса, лежащего в основе теории информации, начав с утверждения:

« Основная проблема коммуникации — это воспроизведение в одной точке, точно или приблизительно, сообщения, выбранного в другой точке » .

Вместе с этим появились идеи:

• информационная энтропия и избыточность источника, а также ее релевантность посредством теоремы о кодировании источника ;
• взаимная информация и пропускная способность канала с шумом, включая обещание идеальной связи без потерь, данное теоремой о кодировании канала с шумом;
• практический результат закона Шеннона-Хартли для пропускной способности гауссовского канала ; а также
• бит — новый способ видения самой фундаментальной единицы информации. ^{[ необходима цитата} ]

Количество информации

Теория информации основана на теории вероятностей и статистике, где количественная информация обычно описывается в терминах битов. Теория информации часто занимается мерами информации распределений, связанных со случайными величинами. Одна из наиболее важных мер называется энтропией , которая образует строительный блок многих других мер. Энтропия позволяет количественно оценить меру информации в одной случайной величине. ^[23] Еще одной полезной концепцией является взаимная информация, определенная для двух случайных величин, которая описывает меру информации, общей для этих переменных, которая может использоваться для описания их корреляции. Первая величина является свойством распределения вероятностей случайной величины и дает предел скорости, с которой данные, сгенерированные независимыми выборками с заданным распределением, могут быть надежно сжаты. Последняя является свойством совместного распределения двух случайных величин и представляет собой максимальную скорость надежной связи через шумный канал в пределе большой длины блока, когда статистика канала определяется совместным распределением.

Выбор логарифмического основания в следующих формулах определяет единицу используемой информационной энтропии. Общей единицей информации является бит или шеннон , основанный на двоичном логарифме . Другие единицы включают nat , который основан на натуральном логарифме , и десятичную цифру , которая основана на десятеричном логарифме .

В дальнейшем выражение вида p log p по соглашению считается равным нулю, когда p = 0. Это оправдано, поскольку для любого логарифмического основания. ${\displaystyle \lim _{p\rightarrow 0+}p\log p=0}$

Энтропия источника информации

На основе функции массы вероятности каждого передаваемого исходного символа энтропия Шеннона H в единицах бит (на символ) определяется как

${\displaystyle H=-\sum _{i}p_{i}\log _{2}(p_{i})}$

где p _i — вероятность появления i -го возможного значения исходного символа. Это уравнение дает энтропию в единицах «бит» (на символ), поскольку оно использует логарифм по основанию 2, и эта мера энтропии по основанию 2 иногда называлась шенноном в его честь. Энтропия также обычно вычисляется с использованием натурального логарифма (по основанию e , где e — число Эйлера), который производит измерение энтропии в нацах на символ и иногда упрощает анализ, избегая необходимости включать дополнительные константы в формулы. Другие основания также возможны, но используются реже. Например, логарифм по основанию 2 ⁸ = 256 даст измерение в байтах на символ, а логарифм по основанию 10 даст измерение в десятичных цифрах (или хардли ) на символ.

Интуитивно понятно, что энтропия H _X дискретной случайной величины X является мерой величины неопределенности, связанной со значением X, когда известно только ее распределение.

Энтропия источника, который испускает последовательность из N символов, которые независимы и одинаково распределены (iid), составляет N ⋅ H бит (на сообщение из N символов). Если исходные символы данных распределены одинаково, но не являются независимыми, энтропия сообщения длиной N будет меньше, чем N ⋅ H.

Энтропия испытания Бернулли как функция вероятности успеха, часто называемая двоичной энтропийной функцией , H _b ( p ) . Энтропия максимизируется при 1 бите на испытание, когда два возможных результата равновероятны, как при беспристрастном подбрасывании монеты.

Если кто-то передает 1000 бит (0 и 1), и значение каждого из этих бит известно получателю (имеет определенное значение с уверенностью) до передачи, ясно, что никакой информации не передается. Если, однако, каждый бит независимо с равной вероятностью может быть 0 или 1, то было передано 1000 шеннонов информации (чаще называемых битами). Между этими двумя крайностями информацию можно количественно оценить следующим образом. Если — это набор всех сообщений { x ₁ , ..., x _n }, которыми может быть X , а p ( x ) — вероятность некоторого , то энтропия H для X определяется: ^[24] ${\displaystyle \mathbb {X} }$ ${\displaystyle x\in \mathbb {X} }$

${\displaystyle H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).}$

(Здесь I ( x ) — это собственная информация , которая является вкладом энтропии отдельного сообщения, и является ожидаемым значением .) Свойство энтропии заключается в том, что она максимизируется, когда все сообщения в пространстве сообщений равновероятны p ( x ) = 1/ n ; т.е. наиболее непредсказуемы, в этом случае H ( X ) = log n . ${\displaystyle \mathbb {E} _{X}}$

Частным случаем информационной энтропии для случайной величины с двумя исходами является бинарная энтропийная функция, обычно берущаяся по основанию логарифма 2, таким образом, имея в качестве единицы Шеннон (Sh):

${\displaystyle H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

Совместная энтропия

Совместная энтропия двух дискретных случайных величин X и Y — это просто энтропия их пары: ( X , Y ) . Это означает, что если X и Y независимы , то их совместная энтропия — это сумма их индивидуальных энтропий.

Например, если ( X , Y ) представляет положение шахматной фигуры — X — строку, а Y — столбец, то совместная энтропия строки фигуры и столбца фигуры будет энтропией положения фигуры.

${\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,}$

Несмотря на схожие обозначения, совместную энтропию не следует путать с перекрестной энтропией .

Условная энтропия (неопределенность)

Условная энтропия или условная неопределенность X при заданной случайной величине Y ( также называемая неопределенностью X относительно Y ) — это средняя условная энтропия по Y : ^[25]

${\displaystyle H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).}$

Поскольку энтропия может быть обусловлена ​​случайной величиной или тем, что случайная величина имеет определенное значение, следует проявлять осторожность, чтобы не путать эти два определения условной энтропии, первое из которых используется чаще. Основное свойство этой формы условной энтропии заключается в том, что:

${\displaystyle H(X|Y)=H(X,Y)-H(Y).\,}$

Взаимная информация (трансинформация)

Взаимная информация измеряет количество информации, которое можно получить об одной случайной величине, наблюдая за другой. Это важно в коммуникации, где это может быть использовано для максимизации количества информации, передаваемой между отправленными и полученными сигналами. Взаимная информация X относительно Y определяется как:

${\displaystyle I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}}$

где SI ( удельная взаимная информация) — это точечная взаимная информация .

Основным свойством взаимной информации является то, что

${\displaystyle I(X;Y)=H(X)-H(X|Y).\,}$

То есть, зная Y , мы можем сэкономить в среднем I ( X ; Y ) бит при кодировании X по сравнению с ситуацией, когда Y неизвестен .

Взаимная информация симметрична :

${\displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,}$

Взаимная информация может быть выражена как среднее расхождение Кульбака–Лейблера (прирост информации) между апостериорным распределением вероятностей X при заданном значении Y и априорным распределением X :

${\displaystyle I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].}$

Другими словами, это мера того, насколько в среднем изменится распределение вероятностей по X , если нам дано значение Y. Это часто пересчитывается как отклонение от произведения предельных распределений к фактическому совместному распределению:

${\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).}$

Взаимная информация тесно связана с тестом логарифмического отношения правдоподобия в контексте таблиц сопряженности и полиномиального распределения , а также с тестом χ2 Пирсона : взаимную информацию можно рассматривать как статистику для оценки независимости между парой переменных, и она имеет четко определенное асимптотическое распределение.

Расхождение Кульбака–Лейблера (прирост информации)

Расхождение Кульбака –Лейблера (или информационное расхождение , прирост информации или относительная энтропия ) — это способ сравнения двух распределений: «истинного» распределения вероятностей ⁠ ⁠ ${\displaystyle p(X)}$ и произвольного распределения вероятностей ⁠ ⁠ ${\displaystyle q(X)}$ . Если мы сжимаем данные таким образом, который предполагает ⁠ ⁠ ${\displaystyle q(X)}$ — это распределение, лежащее в основе некоторых данных, когда на самом деле ⁠ ⁠ ${\displaystyle p(X)}$ — это правильное распределение, то расхождение Кульбака–Лейблера — это количество средних дополнительных битов на единицу данных, необходимых для сжатия. Таким образом, оно определяется

${\displaystyle D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.}$

Хотя дивергенция КЛ иногда используется как «метрика расстояния», она не является истинной метрикой , поскольку не симметрична и не удовлетворяет неравенству треугольника (что делает ее полуквазиметрикой).

Другая интерпретация расхождения KL — это «ненужное удивление», вызванное априорным значением истины: предположим, что число X собирается быть случайно выбрано из дискретного набора с распределением вероятностей ⁠ ⁠ ${\displaystyle p(x)}$ . Если Алиса знает истинное распределение ⁠ ⁠ ${\displaystyle p(x)}$ , в то время как Боб полагает (имеет априорное значение ), что распределение равно ⁠ ⁠ ${\displaystyle q(x)}$ , то Боб будет удивлен больше Алисы, в среднем, увидев значение X . Расхождение KL — это (объективное) ожидаемое значение (субъективного) удивления Боба за вычетом удивления Алисы, измеренное в битах, если логарифм находится в двоичной системе счисления. Таким образом, степень, в которой априорное значение Боба «неправильно», можно количественно оценить с точки зрения того, насколько «необоснованно удивленным» оно его, как ожидается, сделает.

Направленная информация

Направленная информация ,, является мерой теории информации, которая количественно определяет поток информации от случайного процессак случайному процессу. Термин направленная информация был придуман Джеймсом Мэсси и определяется как ${\displaystyle I(X^{n}\to Y^{n})}$ ${\displaystyle X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}}$ ${\displaystyle Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}}$

${\displaystyle I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}$,

где условная взаимная информация . ${\displaystyle I(X^{i};Y_{i}|Y^{i-1})}$ ${\displaystyle I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}$

В отличие от взаимной информации, направленная информация не симметрична. Измеряет биты информации, которые передаются каузально ^{[определение каузальной передачи?]} от к . Направленная информация имеет множество приложений в задачах, где каузальность играет важную роль, таких как емкость канала с обратной связью, ^{[26] [27]} емкость дискретных сетей без памяти с обратной связью, ^[28] азартные игры с каузальной побочной информацией, ^[29] сжатие с каузальной побочной информацией, ^[30] и в настройках управления связью в реальном времени , ^{[31] [32]} статистическая физика. ^[33] ${\displaystyle I(X^{n}\to Y^{n})}$ ${\displaystyle X^{n}}$ ${\displaystyle Y^{n}}$

Другие количества

Другие важные величины теории информации включают энтропию Реньи и энтропию Цаллиса (обобщения концепции энтропии), дифференциальную энтропию (обобщение количеств информации до непрерывных распределений) и условную взаимную информацию . Кроме того, прагматическая информация была предложена в качестве меры того, сколько информации было использовано при принятии решения.

Теория кодирования

Изображение, показывающее царапины на читаемой поверхности CD-R. Музыкальные и информационные компакт-диски кодируются с использованием кодов исправления ошибок и, таким образом, могут быть прочитаны даже при наличии незначительных царапин с помощью обнаружения и исправления ошибок .

Теория кодирования является одним из наиболее важных и прямых приложений теории информации. Ее можно разделить на теорию кодирования источника и теорию кодирования канала. Используя статистическое описание данных, теория информации количественно определяет количество битов, необходимых для описания данных, что является информационной энтропией источника.

• Сжатие данных (исходное кодирование): Существует две формулировки проблемы сжатия:
  • сжатие данных без потерь : данные должны быть точно реконструированы;
  • сжатие данных с потерями : выделяет биты, необходимые для восстановления данных, в пределах заданного уровня точности, измеряемого функцией искажения. Это подмножество теории информации называется теорией скорости-искажения .
• Коды с исправлением ошибок (канальное кодирование): в то время как сжатие данных устраняет как можно больше избыточности, код с исправлением ошибок добавляет именно тот тип избыточности (т. е. исправление ошибок), который необходим для эффективной и точной передачи данных по зашумленному каналу.

Это разделение теории кодирования на сжатие и передачу оправдывается теоремами передачи информации или теоремами разделения источника и канала, которые оправдывают использование битов в качестве универсальной валюты для информации во многих контекстах. Однако эти теоремы справедливы только в ситуации, когда один передающий пользователь хочет связаться с одним принимающим пользователем. В сценариях с более чем одним передатчиком (канал множественного доступа), более чем одним приемником (канал вещания ) или промежуточными «помощниками» ( канал ретрансляции ) или более общими сетями сжатие с последующей передачей может уже не быть оптимальным.

Теория источника

Любой процесс, который генерирует последовательные сообщения, можно считать источником информации. Источник без памяти — это тот, в котором каждое сообщение является независимой одинаково распределенной случайной величиной , тогда как свойства эргодичности и стационарности накладывают менее строгие ограничения. Все такие источники являются стохастическими . Эти термины хорошо изучены сами по себе вне теории информации.

Ставка

Скорость передачи информации — это средняя энтропия на символ. Для источников без памяти это просто энтропия каждого символа, тогда как в случае стационарного стохастического процесса это:

${\displaystyle r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );}$

то есть условная энтропия символа с учетом всех предыдущих сгенерированных символов. Для более общего случая процесса, который не обязательно является стационарным, средняя скорость равна:

${\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});}$

то есть предел совместной энтропии на символ. Для стационарных источников эти два выражения дают одинаковый результат. ^[34]

Скорость передачи информации определяется как:

${\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});}$

В теории информации принято говорить о «скорости» или «энтропии» языка. Это уместно, например, когда источником информации является английская проза. Скорость источника информации связана с его избыточностью и тем, насколько хорошо он может быть сжат, что является предметом кодирования источника .

Пропускная способность канала

Коммуникации по каналу являются основной мотивацией теории информации. Однако каналы часто не в состоянии обеспечить точную реконструкцию сигнала; шум, периоды тишины и другие формы искажения сигнала часто ухудшают качество.

Рассмотрим процесс коммуникации по дискретному каналу. Простая модель процесса показана ниже:

${\displaystyle {\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}}$

Здесь X представляет собой пространство переданных сообщений, а Y — пространство сообщений, полученных в течение единицы времени по нашему каналу. Пусть p ( y | x ) будет условной функцией распределения вероятностей Y при заданном X . Мы будем считать p ( y | x ) неотъемлемым фиксированным свойством нашего канала связи (представляющим природу шума нашего канала). Тогда совместное распределение X и Y полностью определяется нашим каналом и нашим выбором f ( x ) , предельным распределением сообщений, которые мы выбираем для отправки по каналу. При этих ограничениях мы хотели бы максимизировать скорость информации или сигнал , который мы можем передавать по каналу. Соответствующей мерой для этого является взаимная информация, и эта максимальная взаимная информация называется пропускной способностью канала и определяется как:

${\displaystyle C=\max _{f}I(X;Y).\!}$

Эта емкость имеет следующее свойство, связанное с передачей информации со скоростью R (где R обычно является числом бит на символ). Для любой скорости передачи информации R < C и ошибки кодирования ε > 0, для достаточно большого N существует код длины N и скорости ≥ R и алгоритм декодирования, такой, что максимальная вероятность ошибки блока ≤ ε ; то есть всегда возможно передавать с произвольно малой ошибкой блока. Кроме того, для любой скорости R > C невозможно передавать с произвольно малой ошибкой блока.

Канальное кодирование занимается поиском таких почти оптимальных кодов, которые можно использовать для передачи данных по зашумленному каналу с небольшой ошибкой кодирования со скоростью, близкой к пропускной способности канала.

Пропускная способность отдельных моделей каналов

• Непрерывный во времени аналоговый канал связи, подверженный гауссовскому шуму — см. теорему Шеннона–Хартли .
• Двоичный симметричный канал (BSC) с вероятностью кроссовера p — это двоичный входной, двоичный выходной канал, который переворачивает входной бит с вероятностью p . BSC имеет емкость 1 − H _b ( p ) бит на использование канала, где H _b — это двоичная энтропийная функция с основанием 2 логарифма:

• Двоичный стирающий канал (BEC) с вероятностью стирания p — это двоичный входной, троичный выходной канал. Возможные выходные данные канала — 0, 1 и третий символ «e», называемый стиранием. Стирание представляет собой полную потерю информации о входном бите. Пропускная способность BEC составляет 1 − p бит на использование канала.

Каналы с памятью и направленной информацией

На практике многие каналы имеют память. А именно, в момент времени канал задается условной вероятностью . Часто удобнее использовать обозначение и канал становится . В таком случае пропускная способность задается скоростью взаимной информации , когда нет обратной связи, и скоростью направленной информации в случае, если обратная связь есть или нет ^{[26] [35]} (если нет обратной связи, направленная информация равна взаимной информации). ${\displaystyle i}$ ${\displaystyle P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).}$ ${\displaystyle x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})}$ ${\displaystyle P(y_{i}|x^{i},y^{i-1}).}$

Взаимозаменяемая информация

Взаимозаменяемая информация — это информация , для которой средства кодирования не важны. ^[36] Классические теоретики информации и специалисты по информатике в основном занимаются информацией такого рода. Иногда ее называют произносимой информацией. ^[37]

Применение в других областях

Использование в разведывательных целях и секретные приложения

Информационно-теоретические концепции применяются в криптографии и криптоанализе. Информационная единица Тьюринга, запрет , была использована в проекте Ultra , взломав код немецкой машины Enigma и ускорив окончание Второй мировой войны в Европе . Сам Шеннон определил важную концепцию, которая теперь называется расстоянием уникальности . Основываясь на избыточности открытого текста , он пытается дать минимальный объем шифртекста, необходимый для обеспечения уникальной дешифруемости.

Теория информации заставляет нас верить, что хранить секреты гораздо сложнее, чем может показаться на первый взгляд. Атака методом грубой силы может взломать системы, основанные на алгоритмах асимметричного ключа или на наиболее часто используемых методах алгоритмов симметричного ключа (иногда называемых алгоритмами секретного ключа), таких как блочные шифры . Безопасность всех таких методов исходит из предположения, что ни одна известная атака не может взломать их за практическое время.

Информационно-теоретическая безопасность относится к таким методам, как одноразовый блокнот , которые не уязвимы для таких атак методом грубой силы. В таких случаях положительная условная взаимная информация между открытым текстом и зашифрованным текстом (обусловленная ключом ) может гарантировать правильную передачу, в то время как безусловная взаимная информация между открытым текстом и зашифрованным текстом остается нулевой, что приводит к абсолютно безопасной связи. Другими словами, подслушивающий не сможет улучшить свою догадку об открытом тексте, получив знания о зашифрованном тексте, но не о ключе. Однако, как и в любой другой криптографической системе, необходимо проявлять осторожность, чтобы правильно применять даже информационно-теоретически безопасные методы; проект Venona смог взломать одноразовые блокноты Советского Союза из-за их неправильного повторного использования ключевого материала.

Генерация псевдослучайных чисел

Генераторы псевдослучайных чисел широко доступны в библиотеках компьютерных языков и прикладных программах. Они, почти повсеместно, не подходят для криптографического использования, поскольку они не обходят детерминированную природу современного компьютерного оборудования и программного обеспечения. Класс улучшенных генераторов случайных чисел называется криптографически безопасными генераторами псевдослучайных чисел , но даже они требуют случайных семян, внешних по отношению к программному обеспечению, чтобы работать так, как задумано. Их можно получить с помощью экстракторов , если все сделано аккуратно. Мерой достаточной случайности в экстракторах является min-entropy , значение, связанное с энтропией Шеннона через энтропию Реньи ; энтропия Реньи также используется при оценке случайности в криптографических системах. Хотя они связаны, различия между этими мерами означают, что случайная величина с высокой энтропией Шеннона не обязательно подходит для использования в экстракторе и, следовательно, для использования в криптографии.

Сейсмическая разведка

Одно из первых коммерческих применений теории информации было в области сейсмической разведки нефти. Работа в этой области сделала возможным отсеивание и отделение нежелательных шумов от желаемого сейсмического сигнала. Теория информации и цифровая обработка сигналов предлагают значительное улучшение разрешения и четкости изображения по сравнению с предыдущими аналоговыми методами. ^[38]

Семиотика

Семиотики Доэде Наута и Винфрид Нёт оба считали, что Чарльз Сандерс Пирс создал теорию информации в своих работах по семиотике. ^{[39] : 171  [40] : 137} Наута определил семиотическую теорию информации как изучение « внутренних процессов кодирования, фильтрации и обработки информации » . ^{[39] : 91}

Такие концепции из теории информации, как избыточность и контроль кода, использовались семиотиками, такими как Умберто Эко и Ферруччо Росси-Ланди, для объяснения идеологии как формы передачи сообщений, посредством которой доминирующий социальный класс передает свое сообщение, используя знаки, которые демонстрируют высокую степень избыточности, так что только одно сообщение декодируется среди ряда конкурирующих. ^[41]

Интегрированная организация процессов нейронной информации

Количественные методы теории информации применяются в когнитивной науке для анализа комплексной организации процессов нейронной информации в контексте проблемы связывания в когнитивной нейронауке . ^[42] В этом контексте определяется либо информационно-теоретическая мера, такая как функциональные кластеры ( функциональная кластерная модель Джеральда Эдельмана и Джулио Тонони и гипотеза динамического ядра (DCH) ^[43] ), либо эффективная информация ( интегрированная информационная теория (IIT) сознания Тонони ^{[44] [45] [46]} ) (на основе организации реентерабельного процесса, т. е. синхронизации нейрофизиологической активности между группами нейронных популяций), либо мера минимизации свободной энергии на основе статистических методов ( принцип свободной энергии Карла Дж. Фристона ( FEP), информационно-теоретическая мера, которая утверждает, что каждое адаптивное изменение в самоорганизованной системе приводит к минимизации свободной энергии, и байесовская гипотеза мозга ^{[47] [ 48] [49] [50] [51]} ).

Разные приложения

Теория информации также применяется в поиске внеземного разума , ^[52] черных дыр , биоинформатике ^{[ необходима ссылка ]} и азартных играх .

Смотрите также

• Математический портал

• Алгоритмическая вероятность
• Байесовский вывод
• Теория коммуникации
• Теория конструкторов – обобщение теории информации, включающее квантовую информацию.
• Формальная наука
• Индуктивная вероятность
• Инфо-метрики
• Минимальная длина сообщения
• Минимальная длина описания
• Философия информации

Приложения

• Активное нетворкинг
• Криптоанализ
• Криптография
• Кибернетика
• Энтропия в термодинамике и теории информации
• Играть в азартные игры
• Разведка (сбор информации)
• Сейсмическая разведка

История

• Хартли, РВЛ
• История теории информации
• Шеннон, CE
• Хронология теории информации
• Йоки, HP
• Андрей Колмогоров

Теория

• Теория кодирования
• Теория обнаружения
• Теория оценки
• Информация о Фишере
• Информационная алгебра
• Асимметрия информации
• Теория информационного поля
• Информационная геометрия
• Теория информации и теория меры
• сложность Колмогорова
• Список нерешенных проблем теории информации
• Логика информации
• Сетевое кодирование
• Философия информации
• Квантовая информатика
• Исходное кодирование

Концепции

• Бан (единица)
• Пропускная способность канала
• Канал связи
• Источник связи
• Условная энтропия
• Скрытый канал
• Сжатие данных
• Декодер
• Дифференциальная энтропия
• Взаимозаменяемая информация
• Сложность флуктуации информации
• Информационная энтропия
• Совместная энтропия
• Расхождение Кульбака–Лейблера
• Взаимная информация
• Точечная взаимная информация (PMI)
• Приемник (теория информации)
• Избыточность
• энтропия Реньи
• Самоинформация
• Расстояние уникальности
• Разнообразие
• Расстояние Хэмминга
• Недоумение

Ссылки

1. Шнайдер, Томас Д. (2006). «Клод Шеннон: биолог». Журнал IEEE Engineering in Medicine and Biology: ежеквартальный журнал Общества инженеров в области медицины и биологии . 25 (1): 30–33. doi :10.1109/memb.2006.1578661. ISSN  0739-5175. PMC 1538977.  PMID 16485389  .
2. Cruces, Sergio; Martín-Clemente, Rubén; Samek, Wojciech (2019-07-03). "Применение теории информации в обработке сигналов". Entropy . 21 (7): 653. Bibcode : 2019Entrp..21..653C. doi : 10.3390/e21070653 . ISSN  1099-4300. PMC 7515149. PMID 33267367  . 
3. Baleanu, D.; Balas, Valentina Emilia; Agarwal, Praveen, eds. (2023). Дробные системы порядка и их применение в инженерии. Advanced Studies in Complex Systems. Лондон, Соединенное Королевство: Academic Press. стр. 23. ISBN 978-0-323-90953-2. OCLC  1314337815.
4. Бернхэм, К. П. и Андерсон Д. Р. (2002) Выбор модели и вывод на основе нескольких моделей: практический информационно-теоретический подход, второе издание (Springer Science, Нью-Йорк) ISBN 978-0-387-95364-9 . 
5. Ф. Рике; Д. Варланд; Р. Рюйтер ван Стивенинк; В Бялек (1997). Спайкс: Исследование нейронного кода . Пресса МТИ. ISBN 978-0262681087.
6. Дельгадо-Бонал, Альфонсо; Мартин-Торрес, Хавьер (2016-11-03). «Человеческое зрение определяется на основе теории информации». Scientific Reports . 6 (1): 36038. Bibcode :2016NatSR...636038D. doi :10.1038/srep36038. ISSN  2045-2322. PMC 5093619 . PMID  27808236. 
7. см. Хюльзенбек, Дж. П.; Ронквист, Ф.; Нильсен, Р.; Боллбек, Дж. П. (2001). «Байесовский вывод филогении и его влияние на эволюционную биологию». Science . 294 (5550): 2310–2314. Bibcode :2001Sci...294.2310H. doi :10.1126/science.1065889. PMID  11743192. S2CID  2138288.
8. Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "Thomas D. Schneider], Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences". Gene . 215 (1): 111–122. doi : 10.1016/s0378-1119(98)00269-8 . PMID  9666097.
9. Джейнс, ET (1957). «Теория информации и статистическая механика». Phys. Rev. 106 ( 4): 620. Bibcode :1957PhRv..106..620J. doi :10.1103/physrev.106.620. S2CID  17870175.
10. Талаат, Халед; Коуэн, Бенджамин; Андероглу, Осман (2020-10-05). «Метод информационной энтропии для оценки сходимости моделирования молекулярной динамики». Журнал прикладной физики . 128 (13): 135102. Bibcode : 2020JAP...128m5102T. doi : 10.1063/5.0019078 . OSTI  1691442. S2CID  225010720.
11. Беннетт, Чарльз Х.; Ли, Мин; Ма, Бин (2003). «Письма цепочек и эволюционные истории». Scientific American . 288 (6): 76–81. Bibcode : 2003SciAm.288f..76B. doi : 10.1038/scientificamerican0603-76. PMID  12764940. Архивировано из оригинала 2007-10-07 . Получено 2008-03-11 .
12. Дэвид Р. Андерсон (1 ноября 2003 г.). "Некоторые сведения о том, почему люди в эмпирических науках могут захотеть лучше понять методы теории информации" (PDF) . Архивировано из оригинала (PDF) 23 июля 2011 г. . Получено 2010-06-23 .
13. Лой, Д. Гарет (2017), Парейон, Габриэль; Пина-Ромеро, Сильвия; Агустин-Акино, Октавио А.; Луис-Пуэбла, Эмилио (ред.), «Музыка, ожидание и теория информации», Музыкально-математический разум: закономерности и преобразования , Computational Music Science, Cham: Springer International Publishing, стр. 161–169, doi :10.1007/978-3-319-47337-6_17, ISBN 978-3-319-47337-6, получено 2024-09-19
14. Рокамора, Мартин; Кансела, Пабло; Бискаиньо, Луис (2019-04-05). «Концепции теории информации, применяемые к анализу ритма в записанной музыке с повторяющимися ритмическими паттернами». Журнал Audio Engineering Society . 67 (4): 160–173. doi :10.17743/jaes.2019.0003.
15. Марсден, Алан (2020). «Новые перспективы теории информации в исследованиях искусств». Leonardo . 53 (3): 274–280. doi :10.1162/leon_a_01860. ISSN  0024-094X.
16. Пинкард, Генри; Кабули, Лейла; Маркли, Эрик; Чиен, Тиффани; Цзяо, Цзяньтао; Уоллер, Лора (2024). «Универсальная оценка и проектирование систем визуализации с использованием оценки информации». arXiv : 2405.20559 [physics.optics].
17. Wing, Simon; Johnson, Jay R. (2019-02-01). «Применение теории информации в физике Солнца и Космоса». Entropy . 21 (2): 140. doi : 10.3390/e21020140 . ISSN  1099-4300. PMC 7514618. PMID 33266856  . 
18. Как, Субхаш (2020-11-26). «Теория информации и размерность пространства». Scientific Reports . 10 (1): 20733. doi :10.1038/s41598-020-77855-9. ISSN  2045-2322.
19. Хармс, Уильям Ф. (1998). «Использование теории информации в эпистемологии». Философия науки . 65 (3): 472–501. doi :10.1086/392657. ISSN  0031-8248. JSTOR  188281.
20. Хорган, Джон (27.04.2016). «Клод Шеннон: мастер на все руки, шутник и отец теории информации». IEEE . Получено 30.09.2023 .
21. Робертс, Сиобхан (2016-04-30). «Забытый отец информационного века». The New Yorker . ISSN  0028-792X . Получено 2023-09-30 .
22. Tse, David (22.12.2020). «Как Клод Шеннон изобрел будущее». Журнал Quanta . Получено 30.09.2023 .
23. Брейверман, Марк (19 сентября 2011 г.). «Теория информации в информатике» (PDF) .
24. Фазлолла М. Реза (1994) [1961]. Введение в теорию информации. Dover Publications, Inc., Нью-Йорк. ISBN 0-486-68210-2.
25. Роберт Б. Эш (1990) [1965]. Теория информации. Dover Publications, Inc. ISBN 0-486-66521-6.
26. Massey, James (1990), "Причинность, обратная связь и направленная информация", Proc. 1990 Intl. Symp. on Info. Th. and its Applications , CiteSeerX 10.1.1.36.5688 
27. Пермутэр, Хаим Генри; Вайсман, Цахи; Голдсмит, Андреа Дж. (февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». Труды IEEE по теории информации . 55 (2): 644–662. arXiv : cs/0608070 . doi : 10.1109/TIT.2008.2009849. S2CID  13178.
28. Крамер, Г. (январь 2003 г.). «Результаты оценки емкости для дискретной сети без памяти». Труды IEEE по теории информации . 49 (1): 4–21. doi :10.1109/TIT.2002.806135.
29. Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (июнь 2011 г.). «Интерпретации направленной информации в теории портфеля, сжатии данных и проверке гипотез». Труды IEEE по теории информации . 57 (6): 3248–3259. arXiv : 0912.4872 . doi : 10.1109/TIT.2011.2136270. S2CID  11722596.
30. Симеоне, Освальдо; Пермутер, Хаим Анри (июнь 2013 г.). «Исходное кодирование при возможной задержке побочной информации». Труды IEEE по теории информации . 59 (6): 3607–3618. arXiv : 1109.1293 . doi : 10.1109/TIT.2013.2248192. S2CID  3211485.
31. Charalambous, Charalambos D.; Stavrou, Photios A. (август 2016 г.). «Направленная информация об абстрактных пространствах: свойства и вариационные равенства». Труды IEEE по теории информации . 62 (11): 6019–6052. arXiv : 1302.3971 . doi : 10.1109/TIT.2016.2604846. S2CID  8107565.
32. Танака, Такаши; Эсфахани, Пейман Мохаджерин; Миттер, Санджой К. (январь 2018 г.). «LQG-управление с минимальной направленной информацией: подход полуопределенного программирования». IEEE Transactions on Automatic Control . 63 (1): 37–52. arXiv : 1510.04214 . doi : 10.1109/TAC.2017.2709618. S2CID  1401958. Архивировано из оригинала 12 апреля 2024 г. – через репозитории TU Delft.
33. Винклер, Дрор А.; Пермутер, Хаим Х.; Мерхав, Нери (20 апреля 2016 г.). «Аналогия между азартными играми и извлечением работы на основе измерений». Журнал статистической механики: теория и эксперимент . 2016 (4): 043403. arXiv : 1404.6788 . Bibcode : 2016JSMTE..04.3403V. doi : 10.1088/1742-5468/2016/04/043403. S2CID  124719237.
34. Джерри Д. Гибсон (1998). Цифровое сжатие для мультимедиа: принципы и стандарты. Морган Кауфманн. ISBN 1-55860-369-7.
35. Пермутэр, Хаим Генри; Вайсман, Цахи; Голдсмит, Андреа Дж. (февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». Труды IEEE по теории информации . 55 (2): 644–662. arXiv : cs/0608070 . doi : 10.1109/TIT.2008.2009849. S2CID  13178.
36. Бартлетт, Стивен Д.; Рудольф, Терри; Спеккенс, Роберт В. (апрель–июнь 2007 г.). «Системы отсчета, правила суперотбора и квантовая информация». Reviews of Modern Physics . 79 (2): 555–606. arXiv : quant-ph/0610030 . Bibcode :2007RvMP...79..555B. doi :10.1103/RevModPhys.79.555.
37. Перес, А.; ПФ Скудо (2002b). А. Хренников (ред.). Квантовая теория: пересмотр основ . Издательство Университета Векшё, Векшё, Швеция. п. 283.
38. Хаггерти, Патрик Э. (1981). «Корпорация и инновации». Strategic Management Journal . 2 (2): 97–118. doi :10.1002/smj.4250020202.
39. Nauta, Doede (1972). Значение информации . Гаага: Mouton. ISBN 9789027919960.
40. Нёт, Винфрид (январь 2012 г.). «Теория информации Чарльза С. Пирса: теория роста символов и знаний». Кибернетика и человеческое знание . 19 (1–2): 137–161.
41. Нёт, Винфрид (1981). «Семиотика идеологии». Semiotica , выпуск 148.
42. Маурер, Х. (2021). Когнитивная наука: интегративные механизмы синхронизации в когнитивных нейроархитектурах современного коннекционизма. CRC Press, Бока-Ратон/Флорида, гл. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526
43. Эдельман, ГМ и Дж. Тонони (2000). Вселенная сознания: как материя становится воображением. Basic Books, Нью-Йорк.
44. Тонони, Г. и О. Спорнс (2003). Измерение интеграции информации. BMC Neuroscience 4: 1-20.
45. Тонони, Г. (2004a). Теория интеграции информации в сознании. BMC Neuroscience 5: 1-22.
46. Тонони, Г. (2004b). Сознание и мозг: теоретические аспекты. В: Г. Адельман и Б. Смит [ред.]: Энциклопедия нейронауки. 3-е изд. Elsevier, Амстердам, Оксфорд.
47. Фристон, К. и К. Э. Стефан (2007). Свободная энергия и мозг. Synthese 159: 417-458.
48. Фристон, К. (2010). Принцип свободной энергии: единая теория мозга. Nature Reviews Neuroscience 11: 127-138.
49. Фристон, К., М. Брейкстер и Г. Деко (2012). Восприятие и самоорганизованная нестабильность. Frontiers in Computational Neuroscience 6: 1-19.
50. Фристон, К. (2013). Жизнь, как мы ее знаем. Журнал Королевского общества Интерфейс 10: 20130475.
51. Кирхгофф, М., Т. Парр, Э. Паласиос, К. Фристон и Дж. Киверстейн. (2018). Марковские одеяла жизни: автономия, активный вывод и принцип свободной энергии. Журнал Королевского общества Интерфейс 15: 20170792.
52. Дойл, Лоренс Р .; МакКован, Бренда ; Джонстон, Саймон; Хансер, Шон Ф. (февраль 2011 г.). «Теория информации, коммуникация животных и поиск внеземного разума». Acta Astronautica . 68 (3–4): 406–417. Bibcode : 2011AcAau..68..406D. doi : 10.1016/j.actaastro.2009.11.018.

Дальнейшее чтение

Классическая работа

• Шеннон, CE (1948), « Математическая теория связи », Bell System Technical Journal , 27, стр. 379–423 и 623–656, июль и октябрь 1948 г. PDF.
  Примечания и другие форматы.
• Р. В. Л. Хартли, «Передача информации», Bell System Technical Journal , июль 1928 г.
• Андрей Колмогоров (1968), «Три подхода к количественному определению информации» в International Journal of Computer Mathematics , 2, стр. 157–168.

Другие журнальные статьи

• Дж. Л. Келли-младший, Принстон, «Новая интерпретация скорости передачи информации» , Bell System Technical Journal , том 35, июль 1956 г., стр. 917–26.
• Р. Ландауэр, IEEE.org, «Информация физична» Труды семинара по физике и вычислениям PhysComp'92 (IEEE Comp. Sci.Press, Лос-Аламитос, 1993) стр. 1–4.
• Ландауэр, Р. (1961). «Необратимость и генерация тепла в вычислительном процессе» (PDF) . IBM J. Res. Dev . 5 (3): 183–191. doi :10.1147/rd.53.0183.
• Тимме, Николас; Элфорд, Уэсли; Флеккер, Бенджамин; Беггс, Джон М. (2012). «Многомерные информационные меры: точка зрения экспериментатора». arXiv : 1111.6857 [cs.IT].

Учебники по теории информации

• Аладжаджи, Ф. и Чен, П. Н. Введение в теорию однопользовательской информации. Сингапур: Springer, 2018. ISBN 978-981-10-8000-5 
• Арндт, К. Информационные меры, информация и ее описание в науке и технике (серия Springer: сигналы и коммуникационные технологии), 2004, ISBN 978-3-540-40855-0 
• Эш, Р. Б. Теория информации . Нью-Йорк: Interscience, 1965. ISBN 0-470-03445-9 . Нью-Йорк: Dover 1990. ISBN 0-486-66521-6  
• Галлагер, Р. Теория информации и надежная связь. Нью-Йорк: John Wiley and Sons, 1968. ISBN 0-471-29048-3 
• Голдман, С. Теория информации . Нью-Йорк: Prentice Hall, 1953. Нью-Йорк: Dover 1968 ISBN 0-486-62209-6 , 2005 ISBN 0-486-44271-3  
• Кавер, Томас ; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Нью-Йорк: Wiley-Interscience . ISBN 0-471-24195-4.
• Чисар, И, Корнер, Дж. Теория информации: теоремы кодирования для дискретных систем без памяти Akademiai Kiado: 2-е издание, 1997. ISBN 963-05-7440-3 
• Маккей, Дэвид Дж. К. Теория информации, вывод и алгоритмы обучения Кембридж: Издательство Кембриджского университета, 2003. ISBN 0-521-64298-1 
• Мансурипур, М. Введение в теорию информации . Нью-Йорк: Prentice Hall, 1987. ISBN 0-13-484668-0 
• Мак-Элис, Р. Теория информации и кодирования . Кембридж, 2002. ISBN 978-0521831857 
• Пирс, Дж. Р. «Введение в теорию информации: символы, сигналы и шум». Довер (2-е издание). 1961 (переиздано Довером в 1980).
• Реза, Ф. Введение в теорию информации . Нью-Йорк: McGraw-Hill 1961. Нью-Йорк: Dover 1994. ISBN 0-486-68210-2 
• Шеннон, Клод ; Уивер, Уоррен (1949). Математическая теория связи (PDF) . Урбана, Иллинойс : Издательство Иллинойсского университета . ISBN 0-252-72548-4. LCCN  49-11922.
• Стоун, Дж. В. Глава 1 книги «Теория информации: введение в учебник», Шеффилдский университет, Англия, 2014. ISBN 978-0956372857 . 
• Йенг, Р. В. Первый курс теории информации Kluwer Academic/Plenum Publishers, 2002. ISBN 0-306-46791-7 . 
• Йенг, Р. В. Теория информации и сетевое кодирование Springer 2008, 2002. ISBN 978-0-387-79233-0 

Другие книги

• Леон Бриллюэн, Наука и теория информации , Минеола, Нью-Йорк: Довер, [1956, 1962] 2004. ISBN 0-486-43918-6 
• Джеймс Глейк , Информация: История, Теория, Потоп , Нью-Йорк: Пантеон, 2011. ISBN 978-0-375-42372-7 
• А.И. Хинчин, Математические основы теории информации , Нью-Йорк: Довер, 1957. ISBN 0-486-60434-9 
• HS Leff и AF Rex, редакторы, Maxwell's Demon: Entropy, Information, Computing , Princeton University Press, Принстон, Нью-Джерси (1990). ISBN 0-691-08727-X 
• Роберт К. Логан . Что такое информация? - Распространение организации в биосфере, символосфере, техносфере и экономосфере , Торонто: DEMO Publishing.
• Том Зигфрид, «Удило и маятник» , Wiley, 2000. ISBN 0-471-32174-5 
• Чарльз Сейф , Расшифровка Вселенной , Викинг, 2006. ISBN 0-670-03441-X 
• Джереми Кэмпбелл, Грамматический человек , Touchstone/Simon & Schuster, 1982, ISBN 0-671-44062-4 
• Анри Тейл, Экономика и теория информации , Rand McNally & Company - Чикаго, 1967.
• Эсколано, Суау, Бонев, Теория информации в компьютерном зрении и распознавании образов , Springer, 2009. ISBN 978-1-84882-296-2 
• Влатко Ведрал, Декодирование реальности: Вселенная как квантовая информация , Oxford University Press 2010. ISBN 0-19-923769-7 

Внешние ссылки

• «Информация», Энциклопедия математики , EMS Press , 2001 [1994]
• Ламберт FL (1999), «Перетасованные карты, грязные столы и беспорядок в комнатах общежития — примеры увеличения энтропии? Вздор!», Журнал химического образования
• Монографии, обзоры и рецензии IEEE Information Theory Society и ITSOC, заархивированные 12 июня 2018 г. на Wayback Machine