Скорость энтропии

Плотность времени средней информации в стохастическом процессе

В математической теории вероятностей скорость энтропии или скорость получения исходной информации представляет собой функцию, присваивающую энтропию случайному процессу .

Для строго стационарного процесса условная энтропия для последней случайной величины в конечном итоге стремится к этому значению скорости.

Определение

Процесс со счетным индексом порождает последовательность его совместных энтропий . Если предел существует, скорость энтропии определяется как ${\displaystyle X}$ ${\displaystyle H_{n}(X_{1},X_{2},\dots X_{n})}$

${\displaystyle H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.}$

Обратите внимание, что если задана любая последовательность с и позволяя , то при телескопировании получаем . Таким образом, скорость энтропии вычисляет среднее значение первых таких изменений энтропии, с уходом в бесконечность . Поведение совместных энтропий от одного индекса к другому также явно подчинено некоторым характеристикам энтропии . ${\displaystyle (a_{n})_{n}}$ ${\displaystyle a_{0}=0}$ ${\displaystyle \Delta a_{k}:=a_{k}-a_{k-1}}$ ${\displaystyle a_{n}={\textstyle \sum _{k=1}^{n}}\Delta a_{k}}$ ${\displaystyle n}$ ${\displaystyle n}$

Обсуждение

Хотя скорость энтропии можно рассматривать как последовательность случайных величин, она представляет собой среднее изменение энтропии на одну случайную величину в долгосрочной перспективе. ${\displaystyle X}$ ${\displaystyle H(X)}$

Его можно рассматривать как общее свойство стохастических источников — это предмет свойства асимптотического равнораспределения .

Для строго стационарных процессов

Стохастический процесс также порождает последовательность условных энтропий, включающую все больше и больше случайных величин. Для сильно стационарных стохастических процессов скорость энтропии равна пределу этой последовательности

${\displaystyle H(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

Величина, заданная пределом справа, также обозначается , что мотивируется тем, что здесь это снова скорость, связанная с процессом, в указанном выше смысле. ${\displaystyle H'(X)}$

Для цепей Маркова

Поскольку стохастический процесс, определяемый цепью Маркова , которая является неприводимой , апериодической и положительно рекуррентной, имеет стационарное распределение , скорость энтропии не зависит от начального распределения.

Например, рассмотрим цепь Маркова, определенную на счетном числе состояний. Дана ее правая стохастическая матрица перехода и энтропия ${\displaystyle P_{ij}}$

${\displaystyle h_{i}:=-\sum _{j}P_{ij}\log P_{ij}}$

связанный с каждым состоянием, можно найти

${\displaystyle \displaystyle H(X)=\sum _{i}\mu _{i}h_{i},}$

где — асимптотическое распределение цепи. ${\displaystyle \mu _{i}}$

В частности, отсюда следует, что скорость энтропии случайного процесса iid такая же, как энтропия любого отдельного члена процесса.

Для скрытых марковских моделей

Скорость энтропии скрытых марковских моделей (HMM) не имеет известного замкнутого решения. Однако у нее есть известные верхняя и нижняя границы. Пусть базовая марковская цепь стационарна, и пусть будут наблюдаемыми состояниями, тогда мы имеем и в пределе , обе стороны сходятся к середине. ^[1] ${\displaystyle X_{1:\infty }}$ ${\displaystyle Y_{1:\infty }}$ $${\displaystyle H(Y_{n}|X_{1},Y_{1:n-1})\leq H(Y)\leq H(Y_{n}|Y_{1:n-1})}$$ ${\displaystyle n\to \infty }$

Приложения

Скорость энтропии может использоваться для оценки сложности стохастических процессов. Она используется в различных приложениях, начиная от характеристики сложности языков, слепого разделения источников и заканчивая оптимизацией квантизаторов и алгоритмов сжатия данных. Например, критерий максимальной скорости энтропии может использоваться для выбора признаков в машинном обучении . ^[2]

Смотрите также

• Источник информации (математика)
• Марковский источник информации
• Асимптотическое свойство равнораспределения
• Случайное блуждание с максимальной энтропией — выбрано для максимизации скорости энтропии

Ссылки

1. Обложка, Томас М.; Томас, Джой А. (2006). "4.5. Функции цепей Маркова". Элементы теории информации (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 978-0-471-24195-9.
2. Эйнике, GA (2018). «Выбор признаков с максимальной скоростью энтропии для классификации изменений динамики колена и голеностопного сустава во время бега». IEEE Journal of Biomedical and Health Informatics . 28 (4): 1097–1103. doi : 10.1109/JBHI.2017.2711487. hdl : 10810/68978 . PMID  29969403. S2CID  49555941.

• Кавер, Т. и Томас, Дж. (1991) Элементы теории информации, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]