Процесс Бернулли

Случайный процесс двоичных (логических) случайных величин

В теории вероятности и статистике процесс Бернулли (названный в честь Якоба Бернулли ) представляет собой конечную или бесконечную последовательность двоичных случайных величин , поэтому это случайный процесс с дискретным временем , который принимает только два значения, канонически 0 и 1. Компонентные переменные Бернулли X _Я одинаково распределен и независим . Прозаично, процесс Бернулли — это многократное подбрасывание монеты , возможно, с нечестной монетой (но с постоянной несправедливостью). Каждая переменная X _i в последовательности связана с испытанием или экспериментом Бернулли . Все они имеют одинаковое распределение Бернулли . Многое из того, что можно сказать о процессе Бернулли, можно также обобщить на более чем два результата (например, процесс для шестигранной игральной кости); это обобщение известно как схема Бернулли .

Проблему определения процесса, учитывая лишь ограниченную выборку испытаний Бернулли, можно назвать проблемой проверки того, честна ли монета .

Определение

Процесс Бернулли — это конечная или бесконечная последовательность независимых случайных величин X ₁ ,  X ₂ ,  X ₃ , ..., такая, что

• для каждого i значение X _i равно 0 или 1;
• для всех значений вероятность p того, что X _i  = 1, одинакова. ${\textstyle i}$

Другими словами, процесс Бернулли — это последовательность независимых одинаково распределенных испытаний Бернулли .

Независимость испытаний подразумевает, что процесс не имеет памяти . Учитывая, что вероятность p известна, прошлые результаты не дают информации о будущих результатах. (Однако если p неизвестно, прошлое сообщает о будущем косвенно, через выводы о  p .)

Если процесс бесконечен, то с любой точки будущие испытания представляют собой процесс Бернулли, идентичный всему процессу, — свойство нового начала.

Интерпретация

Два возможных значения каждого X _i часто называют «успехом» и «неудачей». Таким образом, если результат выражен числом 0 или 1, его можно назвать количеством успехов в i -м «испытании».

Две другие распространенные интерпретации значений: истина или ложь и да или нет. При любой интерпретации этих двух значений отдельные переменные X _i можно назвать испытаниями Бернулли с параметром p.

Во многих приложениях время между испытаниями проходит по мере увеличения индекса i. По сути, испытания X ₁ ,  X ₂ , ...  X _i , ... происходят в «моменты времени» 1, 2, ...,  i , .... Этот ход времени и связанные с ним понятия Однако «прошлое» и «будущее» не являются необходимыми. В большинстве случаев любые X _i и X _j в процессе — это просто две из набора случайных величин, индексированных {1, 2, ...,  n }, конечные случаи, или {1, 2, 3, .. .}, бесконечные случаи.

Один эксперимент только с двумя возможными результатами, часто называемыми «успехом» и «неудачей», обычно кодируемыми как 1 и 0, можно смоделировать как распределение Бернулли . ^[1] Несколько случайных величин и распределений вероятностей, помимо Бернулли, могут быть получены из процесса Бернулли:

• Число успехов в первых n испытаниях, имеющее биномиальное распределение B( n ,  p )
• Количество неудач, необходимых для получения r успехов, которое имеет отрицательное биномиальное распределение NB( r ,  p )
• Число неудач, необходимое для достижения одного успеха, имеет геометрическое распределение NB(1,  p ), частный случай отрицательного биномиального распределения.

Отрицательные биномиальные переменные можно интерпретировать как случайное время ожидания .

Формальное определение

Процесс Бернулли можно формализовать на языке вероятностных пространств как случайную последовательность независимых реализаций случайной величины, которая может принимать значения «орел» или «решка». Пространство состояний для отдельного значения обозначается ${\displaystyle 2=\{H,T\}.}$

Борелевская алгебра

Рассмотрим счетное бесконечное прямое произведение копий . Обычно рассматривают либо односторонний набор, либо двусторонний набор . В этом пространстве существует естественная топология , называемая топологией произведения . Множества в этой топологии представляют собой конечные последовательности подбрасываний монеты, то есть строки конечной длины из H и T ( H означает орел, а T означает решку), а остальная часть (бесконечно длинной) последовательности принимается как «не Забота". Эти наборы конечных последовательностей называются множествами цилиндров в топологии произведения. Набор всех таких строк образует сигма-алгебру , в частности, борелевскую алгебру . Тогда эту алгебру обычно записывают так: где элементами являются последовательности подбрасываний монеты конечной длины (наборы цилиндров). ${\displaystyle 2=\{H,T\}}$ ${\displaystyle \Omega =2^{\mathbb {N} }=\{H,T\}^{\mathbb {N} }}$ ${\displaystyle \Omega =2^{\mathbb {Z} }}$ ${\displaystyle (\Omega ,{\mathcal {B}})}$ ${\displaystyle {\mathcal {B}}}$

мера Бернулли

Если шансы выпадения орла или решки задаются вероятностями , то можно определить естественную меру в пространстве продукта, заданную (или для двустороннего процесса). Другими словами, если дискретная случайная величина X имеет распределение Бернулли с параметром p , где 0 ≤ p ≤ 1, и ее массовая функция вероятности определяется выражением ${\displaystyle \{p,1-p\}}$ ${\displaystyle P=\{p,1-p\}^{\mathbb {N} }}$ ${\displaystyle P=\{p,1-p\}^{\mathbb {Z} }}$

${\displaystyle pX(1)=P(X=1)=p}$и . ${\displaystyle pX(0)=P(X=0)=1-p}$

Обозначим это распределение через Ber( p ). ^[1]

Учитывая набор цилиндров, то есть определенную последовательность подбрасываний монеты время от времени , вероятность наблюдения этой конкретной последовательности определяется выражением ${\displaystyle [\omega _{1},\omega _{2},\cdots \omega _{n}]}$ ${\displaystyle 1,2,\cdots ,n}$

${\displaystyle P([\omega _{1},\omega _{2},\cdots ,\omega _{n}])=p^{k}(1-p)^{n-k}}$

где k — количество раз, когда H появляется в последовательности, а n − k — количество раз, когда T появляется в последовательности. Для вышеизложенного существует несколько различных типов обозначений; обычное дело - писать

${\displaystyle P(X_{1}=x_{1},X_{2}=x_{2},\cdots ,X_{n}=x_{n})=p^{k}(1-p)^{n-k}}$

где каждая представляет собой случайную величину с двоичным значением в скобках Айверсона , что означает либо if , либо if . Эту вероятность обычно называют мерой Бернулли . ^[2] ${\displaystyle X_{i}}$ ${\displaystyle x_{i}=[\omega _{i}=H]}$ ${\displaystyle 1}$ ${\displaystyle \omega _{i}=H}$ ${\displaystyle 0}$ ${\displaystyle \omega _{i}=T}$ ${\displaystyle P}$

Обратите внимание, что вероятность любой конкретной бесконечно длинной последовательности подбрасываний монеты равна нулю; это потому , что для любого . Вероятность, равная 1, означает, что любая данная бесконечная последовательность имеет нулевую меру . Тем не менее, все же можно сказать, что некоторые классы бесконечных последовательностей подбрасываний монеты гораздо более вероятны, чем другие, это определяется свойством асимптотического равнораспределения . ${\displaystyle \lim _{n\to \infty }p^{n}=0}$ ${\displaystyle 0\leq p<1}$

В заключение формального определения можно сказать, что процесс Бернулли задается тройкой вероятностей , как определено выше. ${\displaystyle (\Omega ,{\mathcal {B}},P)}$

Закон больших чисел, биномиальное распределение и центральная предельная теорема

Предположим, что это канонический процесс с представленным и представленным . Закон больших чисел утверждает, что среднее значение последовательности, т. е. , почти наверняка приблизится к ожидаемому значению , т. е. события, не удовлетворяющие этому пределу, имеют нулевую вероятность. Ожидаемое значение выпадения орла , которое предполагается равным 1, равно . Фактически, у человека есть ${\displaystyle H}$ ${\displaystyle 1}$ ${\displaystyle T}$ ${\displaystyle 0}$ ${\displaystyle {\bar {X}}_{n}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$ ${\displaystyle p}$

${\displaystyle \mathbb {E} [X_{i}]=\mathbb {P} ([X_{i}=1])=p,}$

для любой данной случайной величины из бесконечной последовательности испытаний Бернулли , составляющих процесс Бернулли. ${\displaystyle X_{i}}$

Часто интересно узнать, как часто можно наблюдать H в последовательности из n подбрасываний монеты. Это определяется простым подсчетом: при n последовательных подбросах монеты, то есть при заданном наборе всех возможных строк длины n , количество N ( k , n ) таких строк, содержащих k вхождений H , определяется биномиальным коэффициентом.

${\displaystyle N(k,n)={n \choose k}={\frac {n!}{k!(n-k)!}}}$

Если вероятность выпадения орла равна p , то общая вероятность увидеть строку длины n с k орлами равна

${\displaystyle \mathbb {P} ([S_{n}=k])={n \choose k}p^{k}(1-p)^{n-k},}$

где . Определенная таким образом вероятностная мера известна как биномиальное распределение . ${\displaystyle S_{n}=\sum _{i=1}^{n}X_{i}}$

Как мы видим из приведенной выше формулы, если n=1, биномиальное распределение превратится в распределение Бернулли . Таким образом, мы можем знать, что распределение Бернулли является частным случаем биномиального распределения , когда n равно 1.

Особый интерес представляет вопрос о значении для достаточно длинной последовательности подбрасываний монеты, т. е. для предела . В этом случае можно воспользоваться приближением Стирлинга к факториалу и записать ${\displaystyle S_{n}}$ ${\displaystyle n\to \infty }$

${\displaystyle n!={\sqrt {2\pi n}}\;n^{n}e^{-n}\left(1+{\mathcal {O}}\left({\frac {1}{n}}\right)\right)}$

Подставив это в выражение для P ( k , n ), получим нормальное распределение ; таково содержание центральной предельной теоремы , и это ее простейший пример.

Сочетание закона больших чисел вместе с центральной предельной теоремой приводит к интересному и, возможно, удивительному результату: свойству асимптотического равнораспределения . Говоря неформально, можно заметить, что да, при многих подбрасываниях монеты H будет наблюдаться ровно p долю времени, и что это точно соответствует пику гауссианы. Свойство асимптотического равнораспределения по существу утверждает, что этот пик бесконечно острый, с бесконечным спадом с обеих сторон. То есть, учитывая множество всех возможных бесконечно длинных строк H и T , встречающихся в процессе Бернулли, это множество разбивается на две: те строки, которые встречаются с вероятностью 1, и те, которые встречаются с вероятностью 0. Такое разбиение известно как Закон Колмогорова 0-1 .

Размер этого набора также интересен и может быть определен явно: его логарифм в точности равен энтропии процесса Бернулли. Еще раз рассмотрим набор всех строк длины n . Размер этого набора . Из них вероятны только определенные подмножества; Размер этого набора рассчитан на . Используя приближение Стирлинга, помещая его в выражение для P ( k , n ), решая местоположение и ширину пика и, наконец, принимая, можно найти, что ${\displaystyle 2^{n}}$ ${\displaystyle 2^{nH}}$ ${\displaystyle H\leq 1}$ ${\displaystyle n\to \infty }$

${\displaystyle H=-p\log _{2}p-(1-p)\log _{2}(1-p)}$

Это значение представляет собой энтропию Бернулли процесса Бернулли. Здесь H означает энтропию; не путать с тем же символом H, обозначающим орел .

Джон фон Нейман поставил вопрос о процессе Бернулли, понижающем возможность изоморфности данного процесса другому в смысле изоморфизма динамических систем . Вопрос долгое время не поддавался анализу, но наконец и полностью был дан ответ с помощью теоремы об изоморфизме Орнштейна . Этот прорыв привел к пониманию того, что процесс Бернулли уникален и универсален ; в определенном смысле это самый случайный процесс; нет ничего «более» случайного, чем процесс Бернулли (хотя с этим неформальным утверждением следует быть осторожным; конечно, системы, которые смешиваются , в определенном смысле «сильнее», чем процесс Бернулли, который является просто эргодическим, но не смешивающим. Однако такие процессы не состоят из независимых случайных величин: действительно, смешиваться могут многие чисто детерминированные, неслучайные системы).

Динамические системы

Процесс Бернулли также можно понимать как динамическую систему , как пример эргодической системы и, в частности, динамической системы, сохраняющей меру , одним из нескольких различных способов. Один способ — это пространство смены , а другой — одометр . Они рассматриваются ниже.

сдвиг Бернулли

Один из способов создать динамическую систему на основе процесса Бернулли — создать пространство сдвига . В пространстве произведений существует естественная трансляционная симметрия, задаваемая оператором сдвига. ${\displaystyle \Omega =2^{\mathbb {N} }}$

${\displaystyle T(X_{0},X_{1},X_{2},\cdots )=(X_{1},X_{2},\cdots )}$

Определенная выше мера Бернулли является трансляционно-инвариантной; то есть для любого набора цилиндров имеется ${\displaystyle \sigma \in {\mathcal {B}}}$

${\displaystyle P(T^{-1}(\sigma ))=P(\sigma )}$

и, таким образом, мера Бернулли является мерой Хаара ; это инвариантная мера в пространстве произведений.

Вместо вероятностной меры рассмотрим некоторую произвольную функцию . Продвижение вперед ${\displaystyle P:{\mathcal {B}}\to \mathbb {R} }$ ${\displaystyle f:{\mathcal {B}}\to \mathbb {R} }$

${\displaystyle f\circ T^{-1}}$

определяется снова некоторой функцией. Таким образом, отображение индуцирует другое отображение в пространстве всех функций. То есть, учитывая некоторое , определяется ${\displaystyle \left(f\circ T^{-1}\right)(\sigma )=f(T^{-1}(\sigma ))}$ ${\displaystyle {\mathcal {B}}\to \mathbb {R} .}$ ${\displaystyle T}$ ${\displaystyle {\mathcal {L}}_{T}}$ ${\displaystyle {\mathcal {B}}\to \mathbb {R} .}$ ${\displaystyle f:{\mathcal {B}}\to \mathbb {R} }$

${\displaystyle {\mathcal {L}}_{T}f=f\circ T^{-1}}$

Карта является линейным оператором , как (очевидно) и для функций и констант . Этот линейный оператор называется оператором переноса или оператором Рюэля–Фробениуса–Перрона . Этот оператор имеет спектр , то есть набор собственных функций и соответствующих им собственных значений. Наибольшее собственное значение — это собственное значение Фробениуса–Перрона , и в данном случае оно равно 1. Соответствующий собственный вектор является инвариантной мерой: в данном случае это мера Бернулли. То есть, ${\displaystyle {\mathcal {L}}_{T}}$ ${\displaystyle {\mathcal {L}}_{T}(f+g)={\mathcal {L}}_{T}(f)+{\mathcal {L}}_{T}(g)}$ ${\displaystyle {\mathcal {L}}_{T}(af)=a{\mathcal {L}}_{T}(f)}$ ${\displaystyle f,g}$ ${\displaystyle a}$ ${\displaystyle {\mathcal {L}}_{T}(P)=P.}$

Если ограничиться полиномами, то собственными функциями будут (как ни странно) полиномы Бернулли ! ^{[3] [4]} Бернулли, по-видимому, не знал об этом совпадении имен. ${\displaystyle {\mathcal {L}}_{T}}$

Карта 2x мод 1

Отображение T  : [0,1) → [0,1) сохраняет меру Лебега . ${\displaystyle x\mapsto 2x{\bmod {1}}}$

Вышеизложенное можно уточнить. Учитывая бесконечную строку двоичных цифр, напишите ${\displaystyle b_{0},b_{1},\cdots }$

${\displaystyle y=\sum _{n=0}^{\infty }{\frac {b_{n}}{2^{n+1}}}.}$

Результатом является действительное число в единичном интервале. Сдвиг вызывает гомоморфизм , также называемый , на единичном интервале. Поскольку можно видеть, что это отображение называется диадическим преобразованием ; для дважды бесконечной последовательности бит индуцированный гомоморфизм является отображением Бейкера . ${\displaystyle y}$ ${\displaystyle 0\leq y\leq 1.}$ ${\displaystyle T}$ ${\displaystyle T}$ ${\displaystyle T(b_{0},b_{1},b_{2},\cdots )=(b_{1},b_{2},\cdots ),}$ ${\displaystyle T(y)=2y{\bmod {1}}.}$ ${\displaystyle \Omega =2^{\mathbb {Z} },}$

Рассмотрим теперь пространство функций в . Учитывая, что кто-то может найти это ${\displaystyle y}$ ${\displaystyle f(y)}$

${\displaystyle \left[{\mathcal {L}}_{T}f\right](y)={\frac {1}{2}}f\left({\frac {y}{2}}\right)+{\frac {1}{2}}f\left({\frac {y+1}{2}}\right)}$

Ограничивая действие оператора функциями, состоящими из полиномов, можно обнаружить, что он имеет дискретный спектр , определяемый формулой ${\displaystyle {\mathcal {L}}_{T}}$

${\displaystyle {\mathcal {L}}_{T}B_{n}=2^{-n}B_{n}}$

где – полиномы Бернулли . Действительно, полиномы Бернулли подчиняются тождеству ${\displaystyle B_{n}}$

${\displaystyle {\frac {1}{2}}B_{n}\left({\frac {y}{2}}\right)+{\frac {1}{2}}B_{n}\left({\frac {y+1}{2}}\right)=2^{-n}B_{n}(y)}$

Набор Кантора

Обратите внимание, что сумма

${\displaystyle y=\sum _{n=0}^{\infty }{\frac {b_{n}}{3^{n+1}}}}$

дает функцию Кантора в ее традиционном определении. Это одна из причин, почему это множество иногда называют множеством Кантора . ${\displaystyle \{H,T\}^{\mathbb {N} }}$

Одометр

Другой способ создать динамическую систему — определить одометр . Неофициально это звучит именно так: просто «добавьте единицу» в первую позицию, и дайте одометру «перевернуться», используя биты переноса , когда одометр перевернется. Это не что иное, как сложение по основанию два множества бесконечных строк. Поскольку сложение образует группу (математика) , а процессу Бернулли уже была задана топология выше, это дает простой пример топологической группы .

В этом случае преобразование определяется выражением ${\displaystyle T}$

${\displaystyle T\left(1,\dots ,1,0,X_{k+1},X_{k+2},\dots \right)=\left(0,\dots ,0,1,X_{k+1},X_{k+2},\dots \right).}$

Он оставляет меру Бернулли инвариантной только для частного случая («честной монеты»); иначе нет. Таким образом, в данном случае – это мера, сохраняющая динамическую систему , в противном случае – это просто консервативная система . ${\displaystyle p=1/2}$ ${\displaystyle T}$

последовательность Бернулли

Термин «последовательность Бернулли» часто неофициально используется для обозначения реализации процесса Бернулли. Однако этот термин имеет совершенно другое формальное определение, приведенное ниже.

Предположим, что процесс Бернулли формально определен как одна случайная величина (см. предыдущий раздел). Для каждой бесконечной последовательности x подбрасываний монеты существует последовательность целых чисел

${\displaystyle \mathbb {Z} ^{x}=\{n\in \mathbb {Z} :X_{n}(x)=1\}\,}$

называется последовательностью Бернулли ^{[ требуется проверка ],} связанной с процессом Бернулли. Например, если x представляет собой последовательность подбрасываний монеты, то связанная с ней последовательность Бернулли представляет собой список натуральных чисел или моментов времени, для которых результатом подбрасывания монеты является орел .

Определенная таким образом последовательность Бернулли также является случайным подмножеством индексного набора натуральных чисел . ${\displaystyle \mathbb {Z} ^{x}}$ ${\displaystyle \mathbb {N} }$

Почти все последовательности Бернулли являются эргодическими последовательностями . ^{[ нужна проверка ]} ${\displaystyle \mathbb {Z} ^{x}}$

Извлечение случайности

Из любого процесса Бернулли можно получить процесс Бернулли с p  = 1/2 с помощью экстрактора фон Неймана , самого раннего экстрактора случайности , который фактически извлекает равномерную случайность.

Базовый экстрактор фон Неймана

Представьте наблюдаемый процесс как последовательность нулей и единиц или битов и сгруппируйте этот входной поток в непересекающиеся пары последовательных битов, например (11)(00)(10)... . Тогда для каждой пары

• если биты равны, отбросить;
• если биты не равны, выведите первый бит.

Эта таблица суммирует вычисления.

Например, входной поток из восьми бит 10011011 будет сгруппирован в пары как (10)(01)(10)(11) . Затем, согласно таблице выше, эти пары преобразуются в выходные данные процедуры: (1)(0)(1)() (= 101 ).

В выходном потоке 0 и 1 одинаково вероятны, как 10 и 01 одинаково вероятны в исходном потоке, причем оба имеют вероятность p (1− p ) = (1− p ) p . Такое извлечение равномерной случайности не требует, чтобы входные испытания были независимыми, а только некоррелированными . В более общем смысле, это работает для любой заменяемой последовательности битов: все последовательности, которые являются конечными перестановками, одинаково вероятны.

Экстрактор фон Неймана использует два входных бита для получения либо нуля, либо одного выходного бита, поэтому выходной сигнал короче входного как минимум в 2 раза. В среднем вычисление отбрасывает пропорцию p ²  + (1 −  p ) ² из входные пары (00 и 11), который близок к единице, когда p близок к нулю или единице, и минимизируется до 1/4, когда p  = 1/2 для исходного процесса (в этом случае выходной поток составляет 1/4 длины входного потока в среднем).

Псевдокод основной операции фон Неймана (классический) :

если (Бит1 ≠ Бит2) { выход (бит1)}

Итерированный экстрактор фон Неймана

Это снижение эффективности или потеря случайности, присутствующей во входном потоке, можно смягчить путем итерации алгоритма по входным данным. Таким образом, результат можно сделать «произвольно близким к границе энтропии». ^[5]

Итерированная версия алгоритма фон Неймана, также известная как расширенная многоуровневая стратегия (AMLS), ^[6] была представлена ​​Ювалем Пересом в 1992 году. ^[5] Он работает рекурсивно, перерабатывая «потерянную случайность» из двух источников: последовательности отбрасывания-неотбрасывания и значения отброшенных пар (0 для 00 и 1 для 11). Он основан на том факте, что, учитывая уже сгенерированную последовательность, оба этих источника по-прежнему представляют собой заменяемые последовательности битов и, следовательно, имеют право на следующий раунд извлечения. Хотя такая генерация дополнительных последовательностей может повторяться бесконечно для извлечения всей доступной энтропии, требуется бесконечное количество вычислительных ресурсов, поэтому количество итераций обычно фиксируется на низком значении — это значение либо фиксируется заранее, либо рассчитывается во время выполнения.

Более конкретно, во входной последовательности алгоритм использует входные биты парами, генерируя выходные данные вместе с двумя новыми последовательностями:

(Если длина входных данных нечетная, последний бит полностью отбрасывается.) Затем алгоритм рекурсивно применяется к каждой из двух новых последовательностей, пока входные данные не станут пустыми.

Пример: входной поток сверху, 10011011 , обрабатывается следующим образом:

Начиная с шага 1, входные данные становятся новой последовательностью1 последнего шага, необходимого для дальнейшего продвижения в этом процессе. Таким образом, выходной сигнал равен (101)(1)(0)()()() (= 10110 ), так что из восьми бит входных данных были сгенерированы пять бит выходных данных, а не три бита в базовом алгоритме, описанном выше. Постоянный вывод ровно 2 бит за раунд (по сравнению с переменными битами от 0 до 1 в классическом VN) также позволяет реализовать реализации с постоянным временем, устойчивые к атакам по времени .

Псевдокод основной операции Фон Неймана – Переса (итерированный):

если (Бит1 ≠ Бит2) { вывод (1, Последовательность1) выход (бит1)} еще { вывод (0, Последовательность1) вывод (Бит1, Последовательность2)}

Еще одна настройка была представлена ​​в 2016 году, основанная на наблюдении, что канал Sequence2 не обеспечивает большую пропускную способность, и аппаратная реализация с конечным числом уровней может выиграть от его более раннего отказа в обмен на обработку большего количества уровней Sequence1. ^[7]

Рекомендации

1. Деккинг, FM; Краайкамп, К.; Лопухаа, Х.П.; Мистер, Л.Е. (2005). Современное введение в вероятность и статистику . стр. 45–46. ISBN 9781852338961.
2. Кленке, Ахим (2006). Теория вероятности . Спрингер-Верлаг. ISBN 978-1-84800-047-6.
3. Пьер Гаспар, « R -адические одномерные карты и формула суммирования Эйлера», Journal of Physics A , 25 (письмо) L483-L485 (1992).
4. Дин Дж. Дрибе, Полностью хаотические карты и нарушенная временная симметрия, (1999) Kluwer Academic Publishers, Дордрехт, Нидерланды, ISBN 0-7923-5564-4 
5. Перес, Юваль (март 1992 г.). «Итерация процедуры фон Неймана для извлечения случайных битов». Анналы статистики . 20 (1): 590–597. дои : 10.1214/aos/1176348543 .
6. «Бросание предвзятой монеты» (PDF) . eecs.harvard.edu. Архивировано (PDF) из оригинала 31 марта 2010 г. Проверено 28 июля 2018 г.
7. Рожич, Владимир; Ян, Бохан; Деэн, Вим; Вербауведе, Ингрид (3–5 мая 2016 г.). Итерация постобработки фон Неймана при аппаратных ограничениях (PDF) . Международный симпозиум IEEE по аппаратно-ориентированной безопасности и доверию (HOST), 2016 г. Маклин, Вирджиния, США. дои : 10.1109/HST.2016.7495553. Архивировано (PDF) из оригинала 12 февраля 2019 г.

дальнейшее чтение

• Карл В. Хелстром, Вероятность и случайные процессы для инженеров , (1984) Macmillan Publishing Company, Нью-Йорк ISBN 0-02-353560-1 . 

Внешние ссылки

• Использование диаграммы двоичного дерева для описания процесса Бернулли.