В теории вероятностей функция плотности вероятности ( PDF ), функция плотности или плотность абсолютно непрерывной случайной величины — это функция , значение которой в любой заданной выборке (или точке) в выборочном пространстве (набор возможных значений, принимаемых случайная величина) можно интерпретировать как предоставление относительной вероятности того, что значение случайной величины будет равно этой выборке. [2] [3] Плотность вероятности — это вероятность на единицу длины, другими словами, в то время как абсолютная вероятность того, что непрерывная случайная величина примет какое-либо конкретное значение, равна 0 (поскольку изначально существует бесконечное множество возможных значений) , значение PDF для двух разных выборок можно использовать для вывода при любом конкретном отборе случайной величины, насколько более вероятно, что случайная величина будет близка к одной выборке по сравнению с другой выборкой.
В более точном смысле PDF используется для указания вероятности попадания случайной величины в определенный диапазон значений , а не для принятия какого-либо одного значения. Эта вероятность определяется интегралом PDF этой переменной в этом диапазоне, то есть она определяется площадью под функцией плотности, но над горизонтальной осью и между самым низким и самым большим значениями диапазона. Функция плотности вероятности всюду неотрицательна, а площадь под всей кривой равна 1.
Термины «функция распределения вероятностей» и «функция вероятности» также иногда использовались для обозначения функции плотности вероятности. Однако такое использование не является стандартным среди вероятностников и статистиков. В других источниках «функция распределения вероятностей» может использоваться, когда распределение вероятностей определяется как функция по общим наборам значений, или оно может относиться к кумулятивной функции распределения , или это может быть функция массы вероятности (PMF), а не функция распределения вероятностей (PMF), а не функция распределения вероятностей. плотность. Сама «функция плотности» также используется для функции массы вероятности, что приводит к дальнейшей путанице. [4] Однако в целом PMF используется в контексте дискретных случайных величин (случайных величин, которые принимают значения в счетном множестве), тогда как PDF используется в контексте непрерывных случайных величин.
Предположим, бактерии определенного вида обычно живут от 4 до 6 часов. Вероятность того, что бактерия проживет ровно 5 часов, равна нулю. Многие бактерии живут примерно 5 часов, но нет никаких шансов, что какая-либо бактерия погибнет ровно через 5 часов. Однако вероятность того, что бактерия погибнет в период от 5 часов до 5,01 часа, поддается количественной оценке. Предположим, ответ равен 0,02 (т. е. 2%). Тогда вероятность того, что бактерия погибнет между 5 и 5,001 часами, должна быть около 0,002, поскольку этот временной интервал составляет одну десятую длины предыдущего. Вероятность того, что бактерия погибнет в период от 5 до 5,0001 часа, должна составлять около 0,0002 и так далее.
В этом примере соотношение (вероятность смерти в течение интервала)/(продолжительность интервала) примерно постоянно и равно 2 в час (или 2 часа -1 ). Например, существует вероятность 0,02 умереть в интервале 0,01 часа между 5 и 5,01 часами и (вероятность 0,02 / 0,01 часа) = 2 часа -1 . Эта величина 2 час -1 называется плотностью вероятности смерти примерно через 5 часов. Следовательно, вероятность того, что бактерия погибнет через 5 часов, можно записать как (2 час -1 ) dt . Это вероятность того, что бактерия погибнет в течение бесконечно малого промежутка времени около 5 часов, где dt — продолжительность этого окна. Например, вероятность того, что он проживет дольше 5 часов, но короче (5 часов + 1 наносекунда), равна (2 часа -1 )×(1 наносекунда) ≈6 × 10 −13 (с использованием преобразования единиц 3,6 × 10 12 наносекунд = 1 час).
Существует функция плотности вероятности f с f (5 часов) = 2 часа −1 . Интеграл от f в любом временном окне (не только в бесконечно малых, но и в больших окнах) представляет собой вероятность того, что бактерия погибнет в этом окне.
Функция плотности вероятности чаще всего связана с абсолютно непрерывными одномерными распределениями . Случайная величина имеет плотность , где – неотрицательная интегрируемая по Лебегу функция, если:
Следовательно, если – кумулятивная функция распределения , то :
Интуитивно можно представить это как вероятность попадания в бесконечно малый интервал .
( Это определение можно распространить на любое распределение вероятностей, используя теоретико-мерное определение вероятности . )
Случайная величина со значениями в измеримом пространстве (обычно с борелевскими множествами в качестве измеримых подмножеств) имеет в качестве распределения вероятностей меру X ∗ P on : плотность относительно эталонной меры on представляет собой производную Радона – Никодима :
То есть f — это любая измеримая функция, обладающая свойством:
В описанном выше случае непрерывной одномерной эталонной мерой является мера Лебега . Функция массы вероятности дискретной случайной величины — это плотность относительно меры подсчета в выборочном пространстве (обычно наборе целых чисел или некотором его подмножестве).
Невозможно определить плотность относительно произвольной меры (например, нельзя выбрать меру отсчета в качестве эталона для непрерывной случайной величины). Более того, когда она существует, плотность почти уникальна, а это означает, что любые две такие плотности совпадают почти везде .
В отличие от вероятности, функция плотности вероятности может принимать значения больше единицы; например, непрерывное равномерное распределение на интервале [0, 1/2] имеет плотность вероятности f ( x ) = 2 для 0 ≤ x ≤ 1/2 и f ( x ) = 0 в других местах.
Стандартное нормальное распределение имеет плотность вероятности
Если задана случайная величина X и ее распределение допускает функцию плотности вероятности f , то ожидаемое значение X (если ожидаемое значение существует) можно рассчитать как
Не каждое распределение вероятностей имеет функцию плотности: распределения дискретных случайных величин ее не имеют; не делает этого и распределение Кантора , даже если оно не имеет дискретной компоненты, т. е. не приписывает положительную вероятность какой-либо отдельной точке.
Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F ( x ) абсолютно непрерывна . В этом случае: F почти всюду дифференцируема , и ее производную можно использовать в качестве плотности вероятности :
Если распределение вероятностей допускает плотность, то вероятность каждого одноточечного набора { a } равна нулю; то же самое справедливо для конечных и счетных множеств.
Две плотности вероятности f и g представляют одно и то же распределение вероятностей , если они различаются только на множестве нулевой меры Лебега .
В области статистической физики в качестве определения функции плотности вероятности обычно используется неформальная переформулировка приведенного выше соотношения между производной кумулятивной функции распределения и функцией плотности вероятности. Это альтернативное определение следующее:
Если dt — бесконечно малое число, вероятность того, что X входит в интервал ( t , t + dt ) , равна f ( t ) dt , или:
Некоторые дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную часть, можно представить с помощью обобщенной функции плотности вероятности, используя дельта-функцию Дирака . (Это невозможно с функцией плотности вероятности в том смысле, который определен выше, это можно сделать с распределением . ) Например, рассмотрим двоичную дискретную случайную величину , имеющую распределение Радемахера , то есть принимая в качестве значений -1 или 1, с вероятностью 1 ⁄ 2 каждый. Плотность вероятности, связанная с этой переменной, равна:
В более общем смысле, если дискретная переменная может принимать n различных значений среди действительных чисел, то соответствующая функция плотности вероятности имеет вид:
Это существенно унифицирует трактовку дискретных и непрерывных распределений вероятностей. Приведенное выше выражение позволяет определить статистические характеристики такой дискретной переменной (такие как среднее значение , дисперсия и эксцесс ), исходя из формул, приведенных для непрерывного распределения вероятности.
Обычно функции плотности вероятности (и функции массы вероятности ) параметризуются, то есть характеризуются неуказанными параметрами . Например, нормальное распределение параметризуется с точки зрения среднего значения и дисперсии , обозначаемых и соответственно, что дает семейство плотностей
Поскольку параметры являются константами, перепараметризация плотности с точки зрения других параметров, чтобы дать характеристику другой случайной величины в семействе, означает просто подстановку в формулу новых значений параметров вместо старых.
Для непрерывных случайных величин X 1 , ..., X n также можно определить функцию плотности вероятности, связанную с набором в целом, часто называемую совместной функцией плотности вероятности . Эта функция плотности определяется как функция n переменных, такая, что для любой области D в n -мерном пространстве значений переменных X 1 , ..., X n вероятность того, что реализация набора переменные попадают в область D
Если F ( x 1 , ..., x n ) = Pr( X 1 ≤ x 1 , ..., X n ≤ x n ) является кумулятивной функцией распределения вектора ( X 1 , ..., X n ) , то совместную функцию плотности вероятности можно вычислить как частную производную
Для i = 1, 2, ..., n пусть f X i ( x i ) будет функцией плотности вероятности, связанной только с переменной X i . Это называется функцией предельной плотности, и ее можно вывести из плотности вероятности, связанной со случайными величинами X 1 , ..., X n , путем интегрирования по всем значениям других n - 1 переменных:
Непрерывные случайные величины X 1 , ..., X n , допускающие совместную плотность, независимы друг от друга тогда и только тогда, когда
Если совместную функцию плотности вероятности вектора из n случайных величин можно разложить в произведение n функций одной переменной
Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции набора двух переменных. Назовем двумерный случайный вектор координат ( X , Y ) : вероятность получить в четверти плоскости положительные значения x и y равна
Если функция плотности вероятности случайной величины (или вектора) X задана как f X ( x ) , можно (но часто не обязательно; см. ниже) вычислить функцию плотности вероятности некоторой переменной Y = g ( X ) . Это также называется «заменой переменной» и на практике используется для генерации случайной величины произвольной формы f g ( X ) = f Y с использованием известного (например, однородного) генератора случайных чисел.
Соблазнительно думать, что для того, чтобы найти ожидаемое значение E( g ( X ) ) нужно сначала найти плотность вероятности fg ( X ) новой случайной величины Y = g ( X ) . Однако вместо вычислений
Значения двух интегралов одинаковы во всех случаях, когда и X , и g ( X ) фактически имеют функции плотности вероятности. Не обязательно, чтобы g была взаимно однозначной функцией . В некоторых случаях последний интеграл вычисляется гораздо проще, чем первый. См. Закон бессознательного статистика .
Пусть – монотонная функция , тогда результирующая функция плотности равна [5]
Здесь g −1 обозначает обратную функцию .
Это следует из того, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной относительно замены переменных. То есть,
Для функций, которые не являются монотонными, функция плотности вероятности для y равна
Предположим, что x — n -мерная случайная величина с плотностью соединений f . Если y = G ( x ) , где G — биективная дифференцируемая функция , то y имеет плотность pY :
Например, в двумерном случае x = ( x 1 , x 2 ) предположим, что преобразование G задается как y 1 = G 1 ( x 1 , x 2 ) , y 2 = G 2 ( x 1 , x 2 ) ) с обратными Икс 1 знак равно г 1 -1 ( у 1 , у 2 ) , Икс 2 знак равно г 2 -1 ( у 1 , у 2 ) . Совместное распределение для y = ( y 1 , y 2 ) имеет плотность [7]
Пусть – дифференцируемая функция и – случайный вектор, принимающий значения в , – функция плотности вероятности и – дельта -функция Дирака . Можно использовать приведенные выше формулы для определения функции плотности вероятности , которая будет иметь вид
Этот результат приводит к закону бессознательного статистика :
Доказательство:
Пусть — свернутая случайная величина с функцией плотности вероятности (т. е. константой, равной нулю). Пусть случайный вектор и преобразование определены как
Ясно, что это биективное отображение, а якобиан определяется формулой:
Функция плотности вероятности суммы двух независимых случайных величин U и V , каждая из которых имеет функцию плотности вероятности, представляет собой свертку их отдельных функций плотности:
Предыдущее соотношение можно обобщить на сумму N независимых случайных величин с плотностями U 1 , ..., UN :
Это можно получить путем двусторонней замены переменных, включающей Y = U + V и Z = V , аналогично примеру ниже для фактора независимых случайных величин.
Учитывая две независимые случайные величины U и V , каждая из которых имеет функцию плотности вероятности, плотность произведения Y = UV и частного Y = U / V можно вычислить путем замены переменных.
Чтобы вычислить частное Y = U / V двух независимых случайных величин U и V , определите следующее преобразование:
Затем плотность соединений p ( y , z ) можно вычислить путем замены переменных с U , V на Y , Z , а Y можно получить путем исключения Z из плотности соединений.
Обратное преобразование
Абсолютное значение определителя матрицы Якоби этого преобразования равно:
Таким образом:
А распределение Y можно вычислить, исключив Z :
Этот метод критически требует, чтобы преобразование от U , V к Y , Z было биективным . Вышеупомянутое преобразование удовлетворяет этому требованию, поскольку Z можно напрямую отобразить обратно в V , и для данного V частное U / V является монотонным . То же самое относится и к сумме U + V , разности U − V и произведению UV .
Точно такой же метод можно использовать для вычисления распределения других функций от нескольких независимых случайных величин.
Учитывая две стандартные нормальные переменные U и V , частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции плотности:
Трансформируем, как описано выше:
Это ведет к:
Это плотность стандартного распределения Коши .