В теории вероятностей функция плотности вероятности ( PDF ), функция плотности или плотность абсолютно непрерывной случайной величины — это функция, значение которой в любой заданной выборке (или точке) в пространстве выборок (множестве возможных значений, принимаемых случайной величиной) можно интерпретировать как предоставление относительной вероятности того, что значение случайной величины будет равно этому образцу. [2] [3] Плотность вероятности — это вероятность на единицу длины, другими словами, в то время как абсолютная вероятность того, что непрерывная случайная величина примет какое-либо конкретное значение, равна 0 (поскольку изначально существует бесконечный набор возможных значений), значение PDF в двух различных выборках можно использовать для того, чтобы сделать вывод, при любом конкретном извлечении случайной величины, насколько более вероятно, что случайная величина будет близка к одному образцу по сравнению с другим образцом.
Точнее, PDF используется для указания вероятности попадания случайной величины в определенный диапазон значений , а не принятия какого-либо одного значения. Эта вероятность задается интегралом PDF этой переменной по этому диапазону, то есть она задается площадью под функцией плотности, но выше горизонтальной оси и между наименьшим и наибольшим значениями диапазона. Функция плотности вероятности везде неотрицательна, а площадь под всей кривой равна 1.
Термины функция распределения вероятностей и функция вероятности также иногда использовались для обозначения функции плотности вероятности. Однако такое использование не является стандартным среди вероятностников и статистиков. В других источниках «функция распределения вероятностей» может использоваться, когда распределение вероятностей определяется как функция над общими наборами значений или может относиться к кумулятивной функции распределения , или это может быть функция массы вероятности (PMF), а не плотность. Сама «функция плотности» также используется для функции массы вероятности, что приводит к дальнейшей путанице. [4] Однако, в общем, PMF используется в контексте дискретных случайных величин (случайных величин, которые принимают значения на счетном множестве), в то время как PDF используется в контексте непрерывных случайных величин.
Предположим, что бактерии определенного вида обычно живут от 20 до 30 часов. Вероятность того, что бактерия проживет ровно 5 часов, равна нулю. Многие бактерии живут примерно 5 часов, но нет никаких шансов, что любая данная бактерия умрет ровно через 5,00... часов. Однако вероятность того, что бактерия умрет между 5 часами и 5,01 часами, поддается количественной оценке. Предположим, что ответ равен 0,02 (т. е. 2%). Тогда вероятность того, что бактерия умрет между 5 часами и 5,001 часами, должна быть около 0,002, поскольку этот временной интервал в десять раз короче предыдущего. Вероятность того, что бактерия умрет между 5 часами и 5,0001 часами, должна быть около 0,0002 и так далее.
В этом примере отношение (вероятность жизни в течение интервала) / (продолжительность интервала) приблизительно постоянно и равно 2 в час (или 2 часа −1 ). Например, существует вероятность 0,02 умереть в интервале 0,01 часа между 5 и 5,01 часами, и (вероятность 0,02 / 0,01 часа) = 2 часа −1 . Эта величина 2 часа −1 называется плотностью вероятности умереть около 5 часов. Следовательно, вероятность того, что бактерия умрет через 5 часов, можно записать как (2 часа −1 ) dt . Это вероятность того, что бактерия умрет в течение бесконечно малого промежутка времени около 5 часов, где dt — продолжительность этого окна. Например, вероятность того, что он проживет дольше 5 часов, но короче (5 часов + 1 наносекунда), составляет (2 часа −1 )×(1 наносекунда) ≈6 × 10 −13 (используя преобразование единиц 3,6 × 10 12 наносекунд = 1 час).
Существует функция плотности вероятности f с f (5 часов) = 2 часа −1 . Интеграл f по любому временному интервалу (не только бесконечно малым , но и большим) — это вероятность того, что бактерия погибнет в этом интервале.
Функция плотности вероятности чаще всего ассоциируется с абсолютно непрерывными одномерными распределениями . Случайная величина имеет плотность , где — неотрицательная функция , интегрируемая по Лебегу , если:
Следовательно, если — кумулятивная функция распределения , то: и (если — непрерывна при )
Интуитивно можно представить себе как вероятность попадания в бесконечно малый интервал .
( Это определение можно распространить на любое распределение вероятностей, используя определение вероятности с точки зрения теории меры . )
Случайная величина со значениями в измеримом пространстве (обычно с борелевскими множествами в качестве измеримых подмножеств) имеет в качестве распределения вероятностей меру прямого распространения X ∗ P на : плотность относительно эталонной меры на является производной Радона–Никодима :
То есть f — это любая измеримая функция со следующим свойством: для любого измеримого множества
В непрерывном одномерном случае выше, эталонной мерой является мера Лебега . Функция массы вероятности дискретной случайной величины является плотностью относительно меры подсчета по выборочному пространству (обычно множеству целых чисел или некоторому его подмножеству).
Невозможно определить плотность относительно произвольной меры (например, нельзя выбрать счетную меру в качестве точки отсчета для непрерывной случайной величины). Более того, когда она существует, плотность почти уникальна, что означает, что любые две такие плотности совпадают почти всюду .
В отличие от вероятности, функция плотности вероятности может принимать значения больше единицы; например, непрерывное равномерное распределение на интервале [0, 1/2] имеет плотность вероятности f ( x ) = 2 для 0 ≤ x ≤ 1/2 и f ( x ) = 0 в остальных местах.
Стандартное нормальное распределение имеет плотность вероятности
Если дана случайная величина X и ее распределение допускает функцию плотности вероятности f, то ожидаемое значение X ( если ожидаемое значение существует ) можно вычислить как
Не каждое распределение вероятностей имеет функцию плотности: распределения дискретных случайных величин ее не имеют; ее нет и у распределения Кантора , хотя оно и не имеет дискретного компонента, т. е. не присваивает положительную вероятность какой-либо отдельной точке.
Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F ( x ) абсолютно непрерывна . В этом случае: F почти всюду дифференцируема , и ее производная может быть использована как плотность вероятности:
Если распределение вероятностей допускает плотность, то вероятность каждого одноточечного множества { a } равна нулю; то же самое справедливо для конечных и счетных множеств.
Две плотности вероятности f и g представляют одно и то же распределение вероятностей , если они отличаются только на множестве нулевой меры Лебега .
В области статистической физики неформальная переформулировка приведенного выше соотношения между производной кумулятивной функции распределения и функцией плотности вероятности обычно используется в качестве определения функции плотности вероятности. Это альтернативное определение следующее:
Если dt — бесконечно малое число, то вероятность того, что X попадет в интервал ( t , t + dt ) , равна f ( t ) dt , или:
Можно представить некоторые дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную часть, с помощью обобщенной функции плотности вероятности, используя дельта-функцию Дирака . (Это невозможно с функцией плотности вероятности в определенном выше смысле, это можно сделать с помощью распределения .) Например, рассмотрим двоичную дискретную случайную величину, имеющую распределение Радемахера — то есть принимающую −1 или 1 для значений, с вероятностью 1 ⁄ 2 каждое. Плотность вероятности, связанная с этой переменной, равна:
В более общем случае, если дискретная переменная может принимать n различных значений среди действительных чисел, то соответствующая функция плотности вероятности имеет вид: где — дискретные значения, доступные переменной, и — вероятности, связанные с этими значениями.
Это существенно унифицирует обработку дискретных и непрерывных распределений вероятностей. Вышеприведенное выражение позволяет определять статистические характеристики такой дискретной переменной (такие как среднее значение , дисперсия и эксцесс ), исходя из формул, приведенных для непрерывного распределения вероятности.
Обычно функции плотности вероятности (и функции массы вероятности ) параметризуются, то есть характеризуются неопределенными параметрами . Например, нормальное распределение параметризуется в терминах среднего значения и дисперсии , обозначаемых и соответственно, что дает семейство плотностей Различные значения параметров описывают различные распределения различных случайных величин на одном и том же выборочном пространстве (один и тот же набор всех возможных значений переменной); это выборочное пространство является областью семейства случайных величин, которые описывает это семейство распределений. Данный набор параметров описывает единственное распределение в пределах семейства, разделяющее функциональную форму плотности. С точки зрения данного распределения параметры являются константами, а члены в функции плотности, которые содержат только параметры, но не переменные, являются частью нормировочного фактора распределения (мультипликативный фактор, который гарантирует, что область под плотностью — вероятность того, что что-то произойдет в области — равна 1). Этот нормировочный фактор находится вне ядра распределения.
Поскольку параметры являются константами, перепараметризация плотности в терминах других параметров для характеристики другой случайной величины в семействе означает простую подстановку новых значений параметров в формулу вместо старых.
Для непрерывных случайных величин X 1 , ..., X n также можно определить функцию плотности вероятности, связанную с набором в целом, часто называемую совместной функцией плотности вероятности . Эта функция плотности определяется как функция n переменных, такая, что для любой области D в n -мерном пространстве значений переменных X 1 , ..., X n вероятность того, что реализация множества переменных попадет в область D, равна
Если F ( x 1 , ..., x n ) = Pr( X 1 ≤ x 1 , ..., X n ≤ x n ) — кумулятивная функция распределения вектора ( X 1 , ..., X n ) , то совместная функция плотности вероятности может быть вычислена как частная производная
Для i = 1, 2, ..., n пусть f X i ( x i ) будет функцией плотности вероятности, связанной только с переменной X i . Это называется функцией предельной плотности и может быть выведено из плотности вероятности, связанной со случайными величинами X 1 , ..., X n , путем интегрирования по всем значениям других n − 1 переменных:
Непрерывные случайные величины X 1 , ..., X n , допускающие совместную плотность, независимы друг от друга тогда и только тогда, когда
Если совместную функцию плотности вероятности вектора из n случайных величин можно разложить на произведение n функций одной переменной (где каждая f i не обязательно является плотностью), то все n переменных в наборе независимы друг от друга, а предельная функция плотности вероятности каждой из них определяется выражением
Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции набора двух переменных. Назовем двумерный случайный вектор координат ( X , Y ) : вероятность получить в четверти плоскости положительные x и y равна
Если функция плотности вероятности случайной величины (или вектора) X задана как f X ( x ) , то можно (но часто не обязательно; см. ниже) вычислить функцию плотности вероятности некоторой переменной Y = g ( X ) . Это также называется «заменой переменной» и на практике используется для генерации случайной величины произвольной формы f g ( X ) = f Y с использованием известного (например, равномерного) генератора случайных чисел.
Возникает соблазн думать, что для того, чтобы найти ожидаемое значение E( g ( X )) , нужно сначала найти плотность вероятности f g ( X ) новой случайной величины Y = g ( X ) . Однако вместо вычисления можно найти
Значения двух интегралов одинаковы во всех случаях, когда и X , и g ( X ) фактически имеют функции плотности вероятности. Не обязательно, чтобы g была функцией один к одному . В некоторых случаях последний интеграл вычисляется гораздо проще, чем первый. См. Закон бессознательного статистика .
Пусть будет монотонной функцией , тогда результирующая функция плотности равна [5]
Здесь g −1 обозначает обратную функцию .
Это следует из того факта, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной относительно замены переменных. То есть, или
Для функций, которые не являются монотонными, функция плотности вероятности для y равна , где n ( y ) — число решений относительно x для уравнения , а — эти решения.
Предположим, что x — n - мерная случайная величина с совместной плотностью f . Если y = G ( x ) , где G — биективная , дифференцируемая функция , то y имеет плотность pY : с дифференциалом, рассматриваемым как якобиан обратной функции G (⋅) , вычисленной в y . [6]
Например, в 2-мерном случае x = ( x 1 , x 2 ) , предположим, что преобразование G задано как y 1 = G 1 ( x 1 , x 2 ) , y 2 = G 2 ( x 1 , x 2 ) с обратными x 1 = G 1 −1 ( y 1 , y 2 ) , x 2 = G 2 −1 ( y 1 , y 2 ) . Совместное распределение для y = ( y 1 , y 2 ) имеет плотность [7]
Пусть будет дифференцируемой функцией и будет случайным вектором, принимающим значения в , будет функцией плотности вероятности и будет дельта-функцией Дирака . Можно использовать приведенные выше формулы для определения , функции плотности вероятности , которая будет задана как
Этот результат приводит к закону бессознательного статистика :
Доказательство:
Пусть будет свернутой случайной величиной с функцией плотности вероятности (т.е. константой, равной нулю). Пусть случайный вектор и преобразование определяются как
Ясно, что является биективным отображением, а якобиан определяется выражением: которая является верхней треугольной матрицей с единицами на главной диагонали, поэтому ее определитель равен 1. Применяя теорему о замене переменной из предыдущего раздела, получаем то, что при маргинализации приводит к искомой функции плотности вероятности.
Функция плотности вероятности суммы двух независимых случайных величин U и V , каждая из которых имеет функцию плотности вероятности, представляет собой свертку их отдельных функций плотности:
Предыдущее соотношение можно обобщить на сумму N независимых случайных величин с плотностями U 1 , ..., U N :
Это можно вывести из двусторонней замены переменных, включающей Y = U + V и Z = V , аналогично примеру ниже для частного независимых случайных величин.
Если даны две независимые случайные величины U и V , каждая из которых имеет функцию плотности вероятности, то плотность произведения Y = UV и частного Y = U / V можно вычислить путем замены переменных.
Чтобы вычислить частное Y = U / V двух независимых случайных величин U и V , определим следующее преобразование:
Затем совместную плотность p ( y , z ) можно вычислить путем замены переменных с U , V на Y , Z , а Y можно вывести путем исключения Z из совместной плотности.
Обратное преобразование:
Абсолютное значение определителя матрицы Якоби этого преобразования равно:
Таким образом:
А распределение Y можно вычислить, исключив Z :
Этот метод принципиально требует, чтобы преобразование из U , V в Y , Z было биективным . Вышеуказанное преобразование соответствует этому, поскольку Z может быть отображено непосредственно обратно в V , и для заданного V частное U / V является монотонным . Это аналогично имеет место для суммы U + V , разности U − V и произведения UV .
Точно такой же метод можно использовать для вычисления распределения других функций нескольких независимых случайных величин.
При наличии двух стандартных нормальных переменных U и V частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции плотности:
Преобразуем, как описано выше:
Это приводит к:
Это плотность стандартного распределения Коши .