функция Хартли

Функция Хартли — это мера неопределенности , введенная Ральфом Хартли в 1928 году. Если выборка из конечного набора А выбирается равномерно случайным образом, информация, раскрывающаяся после того, как результат известен, определяется функцией Хартли.

${\displaystyle H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,}$

где | А | обозначает мощность A . _

Если основание логарифма равно 2, то единицей неопределенности является шеннон (более известный как бит ) . Если это натуральный логарифм , то единицей измерения является нац . Хартли использовал логарифм с основанием десять , и с этим основанием единица информации в его честь называется хартли ( он же бан или дит ). Она также известна как энтропия Хартли или максимальная энтропия.

Функция Хартли, энтропия Шеннона и энтропия Реньи.

Функция Хартли совпадает с энтропией Шеннона (а также с энтропиями Реньи всех порядков) в случае равномерного распределения вероятностей. Это частный случай энтропии Реньи, поскольку:

${\displaystyle H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|{\mathcal {X}}|}p_{i}^{0}=\log |{\mathcal {X}}|.}$

Но ее также можно рассматривать как примитивную конструкцию, поскольку, как подчеркивали Колмогоров и Реньи, функцию Хартли можно определить без введения каких-либо понятий вероятности (см. Неопределенность и информация Джорджа Дж. Клира, стр. 423).

Характеристика функции Хартли

Функция Хартли зависит только от количества элементов в наборе и, следовательно, ее можно рассматривать как функцию натуральных чисел. Реньи показал, что функция Хартли по основанию 2 — единственная функция, отображающая натуральные числа в действительные числа, которая удовлетворяет условию

1. ${\displaystyle H(mn)=H(m)+H(n)}$(аддитивность)
2. ${\displaystyle H(m)\leq H(m+1)}$(монотонность)
3. ${\displaystyle H(2)=1}$(нормализация)

Условие 1 гласит, что неопределенность декартова произведения двух конечных множеств A и B является суммой неопределенностей A и B. Условие 2 говорит, что больший набор имеет большую неопределенность.

Вывод функции Хартли

Мы хотим показать, что функция Хартли, log ₂ ( n ), является единственной функцией, отображающей натуральные числа в действительные числа, которая удовлетворяет условию

1. ${\displaystyle H(mn)=H(m)+H(n)\,}$(аддитивность)
2. ${\displaystyle H(m)\leq H(m+1)\,}$(монотонность)
3. ${\displaystyle H(2)=1\,}$(нормализация)

Пусть f — функция натуральных чисел, удовлетворяющая трем вышеуказанным свойствам. Используя аддитивное свойство, мы можем показать, что для любых целых n и k

${\displaystyle f(n^{k})=kf(n).\,}$

Пусть a , b и t — любые положительные целые числа. Существует уникальное целое число s, определяемое формулой

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.\qquad (1)}$

Поэтому,

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

и

${\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}$

С другой стороны, в силу монотонности

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

Используя уравнение (1), получаем

${\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}$

и

${\displaystyle {\frac {s}{t}}\leq {\frac {f(b)}{f(a)}}\leq {\frac {s+1}{t}}.}$

Следовательно,

${\displaystyle \left\vert {\frac {f(b)}{f(a)}}-{\frac {\log _{2}(b)}{\log _{2}(a)}}\right\vert \leq {\frac {1}{t}}.}$

Поскольку t может быть сколь угодно большим, разность в левой части приведенного выше неравенства должна быть равна нулю:

${\displaystyle {\frac {f(b)}{f(a)}}={\frac {\log _{2}(b)}{\log _{2}(a)}}.}$

Так,

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

для некоторой константы µ , которая по свойству нормализации должна быть равна 1.

Смотрите также

• Энтропия Реньи
• Минимальная энтропия

Рекомендации

• Эта статья включает в себя материал из функции Хартли в PlanetMath , которая распространяется под лицензией Creative Commons Attribution/Share-Alike License .
• Эта статья включает в себя материал из «Вывода функции Хартли» на платформе PlanetMath , которая распространяется под лицензией Creative Commons Attribution/Share-Alike License .