Функция плотности вероятности - Probability density function
В теория вероятности, а функция плотности вероятности (PDF), или плотность из непрерывная случайная величина, это функция чье значение в любой заданной выборке (или точке) в образец пространства (набор возможных значений, принимаемых случайной величиной) можно интерпретировать как предоставление относительная вероятность что значение случайной переменной будет равно этой выборке.[2] Другими словами, пока абсолютная вероятность для непрерывной случайной переменной, которая принимает какое-либо конкретное значение, является 0 (поскольку существует бесконечный набор возможных значений для начала), значение PDF в двух разных выборках может использоваться для вывода в любом конкретном розыгрыше случайного переменной, насколько более вероятно, что случайная величина будет равна одной выборке по сравнению с другой выборкой.
В более точном смысле PDF используется для определения вероятности случайная переменная падение в определенном диапазоне значений, а не принимать одно значение. Эта вероятность дается интеграл PDF этой переменной в этом диапазоне, то есть она задается областью под функцией плотности, но выше горизонтальной оси и между наименьшим и наибольшим значениями диапазона. Функция плотности вероятности всюду неотрицательна, а ее интеграл по всему пространству равен 1.
Условия "функция распределения вероятностей"[3] и "функция вероятности"[4] также иногда использовались для обозначения функции плотности вероятности. Однако такое использование не является стандартным среди специалистов по теории вероятностей и статистиков. В других источниках «функция распределения вероятностей» может использоваться, когда распределение вероятностей определяется как функция над общими наборами значений или может относиться к кумулятивная функция распределения, или это может быть функция массы вероятности (PMF), а не плотность. Сама «функция плотности» также используется для функции массы вероятности, что ведет к дальнейшему недоразумению.[5] Однако в целом PMF используется в контексте дискретных случайных величин (случайных величин, принимающих значения в счетном наборе), в то время как PDF используется в контексте непрерывных случайных величин.
пример
Предположим, бактерии определенного вида обычно живут от 4 до 6 часов. Вероятность того, что бактерия живет именно так 5 часов равно нулю. Многие бактерии живут приблизительно 5 часов, но нет никаких шансов, что какая-либо конкретная бактерия погибнет ровно в 5.0000000000 ... часов. Однако вероятность того, что бактерия погибнет в период от 5 часов до 5,01 часа, поддается количественной оценке. Предположим, ответ 0,02 (т.е. 2%). Тогда вероятность того, что бактерия погибнет между 5 часами и 5,001 часами, должна быть около 0,002, так как этот временной интервал в десять раз меньше предыдущего. Вероятность того, что бактерия погибнет от 5 часов до 5 0001 часов, должна быть около 0,0002 и так далее.
В этих трех примерах отношение (вероятность умереть во время интервала) / (продолжительность интервала) примерно постоянное и равно 2 в час (или 2 часа в час).−1). Например, вероятность смерти 0,02 в интервале 0,01 часа от 5 до 5,01 часа, а (вероятность 0,02 / 0,01 часа) = 2 часа.−1. Это количество 2 часа−1 называется плотностью вероятности смерти примерно через 5 часов. Следовательно, вероятность того, что бактерия погибнет через 5 часов, может быть записана как (2 часа−1) dt. Это вероятность того, что бактерия умрет в бесконечно малом временном окне около 5 часов, где dt продолжительность этого окна. Например, вероятность того, что он живет дольше 5 часов, но меньше (5 часов + 1 наносекунда), составляет (2 часа−1) × (1 наносекунда) ≈ 6×10−13 (с использованием преобразование единиц измерения 3.6×1012 наносекунды = 1 час).
Есть функция плотности вероятности ж с участием ж(5 часов) = 2 часа−1. В интеграл из ж в любом временном окне (не только бесконечно малых, но и больших окнах) - вероятность того, что бактерия погибнет в этом окне.
Абсолютно непрерывные одномерные распределения
Функция плотности вероятности чаще всего связана с абсолютно непрерывный одномерные распределения. А случайная переменная имеет плотность , где неотрицательный Интегрируемый по Лебегу функция, если:
Следовательно, если это кумулятивная функция распределения из , тогда:
и если непрерывно на )
Интуитивно можно представить как вероятность попадая в бесконечно малый интервал .
Формальное определение
(Это определение может быть расширено до любого распределения вероятностей с помощью теоретико-мерный определение вероятности.)
А случайная переменная со значениями в измеримое пространство (обычно с Наборы Бореля как измеримые подмножества) имеет как распределение вероятностей мера Икс∗п на : the плотность из относительно контрольной меры на это Производная Радона – Никодима:
Это, ж - любая измеримая функция со свойством:
для любого измеримого множества
Обсуждение
в непрерывный одномерный случай выше, эталонной мерой является Мера Лебега. В функция массы вероятности из дискретная случайная величина - плотность относительно счетная мера над пространством выборки (обычно набор целые числа или их часть).
Невозможно определить плотность со ссылкой на произвольную меру (например, нельзя выбрать счетную меру в качестве эталона для непрерывной случайной величины). Кроме того, когда он существует, его плотность равна почти всюду уникальный.
Дальнейшие подробности
В отличие от вероятности функция плотности вероятности может принимать значения больше единицы; например, равномерное распределение на интервале [0, ½] имеет плотность вероятности ж(Икс) = 2 для 0 ≤Икс ≤ ½ и ж(Икс) = 0 в другом месте.
Стандарт нормальное распределение имеет плотность вероятности
Если случайная величина Икс задано, и его распределение допускает функцию плотности вероятности ж, то ожидаемое значение из Икс (если ожидаемое значение существует) можно рассчитать как
Не каждое распределение вероятностей имеет функцию плотности: распределения дискретные случайные величины не; и не Канторовское распределение, даже если он не имеет дискретной составляющей, то есть не приписывает положительной вероятности какой-либо отдельной точке.
Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F(Икс) является абсолютно непрерывный. В таком случае: F является почти всюду дифференцируемый, а его производная может использоваться как плотность вероятности:
Если распределение вероятностей допускает плотность, то вероятность каждого одноточечного набора {а} равно нулю; то же самое верно для конечных и счетных множеств.
Две плотности вероятности ж и г представляют то же самое распределение вероятностей именно если они различаются только по набору Лебег измерять ноль.
В области статистическая физика, неформальная переформулировка указанного выше отношения между производной от кумулятивная функция распределения и функция плотности вероятности обычно используется как определение функции плотности вероятности. Это альтернативное определение следующее:
Если dt бесконечно малое число, вероятность того, что Икс входит в интервал (т, т + dt) равно ж(т) dt, или:
Связь между дискретным и непрерывным распределениями
Можно представить определенные дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную часть, с помощью обобщенный функция плотности вероятности, используя Дельта-функция Дирака. (Это невозможно с функцией плотности вероятности в смысле, определенном выше, это может быть сделано с помощью распространение.) Например, рассмотрим двоичную дискретную случайная переменная имея Распределение Радемахера - то есть, принимая -1 или 1 за значения с вероятностью 1/2 каждое. Плотность вероятности, связанная с этой переменной, равна:
В более общем смысле, если дискретная переменная может принимать п различных значений среди действительных чисел, тогда соответствующая функция плотности вероятности будет:
где дискретные значения, доступные переменной и - вероятности, связанные с этими значениями.
Это существенно унифицирует рассмотрение дискретных и непрерывных распределений вероятностей. Например, вышеприведенное выражение позволяет определить статистические характеристики такой дискретной переменной (например, ее значить, его отклонение и это эксцесс ), исходя из приведенных формул для непрерывного распределения вероятности.
Семейства плотностей
Это обычное явление для функций плотности вероятности (и вероятностные массовые функции ) быть параметризованным, то есть характеризоваться неопределенным параметры. Например, нормальное распределение параметризуется через значить и отклонение, обозначаемый и соответственно, давая семейство плотностей
Важно помнить о разнице между домен семейства плотностей и параметров семейства. Разные значения параметров описывают разные распределения разных случайные переменные на том же пространство образца (тот же набор всех возможных значений переменной); это пространство выборки является областью семейства случайных величин, которое описывает это семейство распределений. Данный набор параметров описывает единичное распределение внутри семейства, разделяющее функциональную форму плотности. С точки зрения данного распределения параметры являются константами, а члены функции плотности, которые содержат только параметры, но не переменные, являются частью коэффициент нормализации распределения (мультипликативный коэффициент, который гарантирует, что площадь под плотностью - вероятность что нибудь в возникшей области - равно 1). Этот коэффициент нормализации находится за пределами ядро распределения.
Поскольку параметры являются константами, повторное параметрирование плотности с точки зрения различных параметров, чтобы дать характеристику другой случайной переменной в семействе, означает простую замену новых значений параметров в формулу вместо старых. Однако изменение области определения плотности вероятности сложнее и требует дополнительных усилий: см. Раздел ниже, посвященный замене переменных.
Плотности, связанные с несколькими переменными
Для непрерывного случайные переменные Икс1, ..., Иксп, также можно определить функцию плотности вероятности, связанную с множеством в целом, часто называемую совместная функция плотности вероятности. Эта функция плотности определяется как функция п переменные, такие что для любого домена D в п-мерное пространство значений переменных Икс1, ..., Икспвероятность попадания реализации заданных переменных в область D является
Если F(Икс1, ..., Иксп) = Pr (Икс1 ≤ Икс1, ..., Иксп ≤ Иксп) это кумулятивная функция распределения вектора (Икс1, ..., Иксп), то совместная функция плотности вероятности может быть вычислена как частная производная
Предельные плотности
Для я = 1, 2, ...,п, позволять жИкся(Икся) - функция плотности вероятности, связанная с переменной Икся один. Это называется маргинальной функцией плотности, и ее можно вывести из плотности вероятности, связанной со случайными величинами. Икс1, ..., Иксп путем интегрирования по всем значениям другого п - 1 переменная:
Независимость
Непрерывные случайные величины Икс1, ..., Иксп допускающие совместную плотность все независимый друг от друга тогда и только тогда, когда
Следствие
Если совместная функция плотности вероятности вектора п случайные величины можно разложить на п функции одной переменной
(где каждый жя не обязательно плотность), то п все переменные в наборе независимый друг от друга, а предельная функция плотности вероятности каждого из них определяется выражением
пример
Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции от набора двух переменных. Позвоните нам двумерный случайный вектор координат (Икс, Y): вероятность получить в четверть плоскости положительного Икс и у является
Функция случайных величин и замена переменных в функции плотности вероятности
Если функция плотности вероятности случайной величины (или вектора) Икс дается как жИкс(Икс) можно (но часто не обязательно; см. ниже) вычислить функцию плотности вероятности некоторой переменной Y = г(Икс). Это также называется «изменением переменной» и на практике используется для генерации случайной величины произвольной формы. жг(Икс) = жY с помощью известного (например, равномерного) генератора случайных чисел.
Заманчиво думать, что для определения математического ожидания E(г(Икс)) необходимо сначала найти плотность вероятности жг(Икс) новой случайной величины Y = г(Икс). Однако вместо вычислений
вместо этого можно найти
Значения двух интегралов одинаковы во всех случаях, когда оба Икс и г(Икс) действительно имеют функции плотности вероятности. Не обязательно, чтобы г быть индивидуальная функция. В некоторых случаях последний интеграл вычисляется намного проще, чем первый. Увидеть Закон бессознательного статистика.
Скаляр в скаляр
Позволять быть монотонная функция, то результирующая функция плотности будет
Вот г−1 обозначает обратная функция.
Это следует из того факта, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной относительно замены переменных. Это,
или
Для функций, которые не являются монотонными, функция плотности вероятности для у является
где п(у) - количество решений в Икс для уравнения , и эти решения.
Вектор в вектор
Вышеприведенные формулы можно обобщить на переменные (которые мы снова будем называть у) в зависимости от более чем одной переменной. ж(Икс1, ..., Иксп) будет обозначать функцию плотности вероятности переменных, которые у зависит от, и зависимость должна быть у = г(Икс1, …, Иксп). Тогда результирующая функция плотности будет[нужна цитата ]
где интеграл ведется по всей (п - 1) -мерное решение индексного уравнения и символьного dV необходимо заменить параметризацией этого решения для конкретного расчета; переменные Икс1, ..., Иксп тогда, конечно, являются функциями этой параметризации.
Это происходит из следующего, возможно, более интуитивного представления: Предположим, Икс является п-мерная случайная величина с совместной плотностью ж. Если у = ЧАС(Икс), где ЧАС это биективный, дифференцируемая функция, тогда у имеет плотность г:
с дифференциалом, рассматриваемым как Якобиан обратного ЧАС(.), оценивается в у.[6]
Например, в двумерном случае Икс = (Икс1, Икс2), пусть преобразование ЧАС дается как у1 = ЧАС1(Икс1, Икс2), у2 = ЧАС2(Икс1, Икс2) с обратными Икс1 = ЧАС1−1(у1, у2), Икс2 = ЧАС2−1(у1, у2). Совместное распределение для у = (у1, y2) имеет плотность[7]
Вектор в скаляр
Позволять - дифференцируемая функция и быть случайным вектором, принимающим значения в , - функция плотности вероятности и быть Дельта Дирака функция. Можно использовать приведенные выше формулы для определения , функция плотности вероятности , который будет дан
Этот результат приводит к Закон бессознательного статистика:
Доказательство:
Позволять - сжатая случайная величина с функцией плотности вероятности (т.е. константа, равная нулю). Пусть случайный вектор и преобразование быть определенным как
- .
Ясно, что является биективным отображением, а якобиан дан кем-то:
- ,
которая является верхнетреугольной матрицей с единицами на главной диагонали, поэтому ее определитель равен 1. Применяя теорему о замене переменной из предыдущего раздела, получаем, что
- ,
которые в случае маргинализации приводит к желаемой функции плотности вероятности.
Суммы независимых случайных величин
Функция плотности вероятности суммы двух независимый случайные переменные U и V, каждая из которых имеет функцию плотности вероятности, является свертка их отдельных функций плотности:
Можно обобщить предыдущее соотношение на сумму N независимых случайных величин с плотностями U1, ..., UN:
Это может быть получено путем двусторонней замены переменных с участием Y = U + V и Z = V, аналогично приведенному ниже примеру для частного независимых случайных величин.
Произведения и отношения независимых случайных величин
Учитывая две независимые случайные величины U и V, каждая из которых имеет функцию плотности вероятности, плотность произведения Y = УФ и частное Y=U/V можно вычислить заменой переменных.
Пример: частное распределение
Чтобы вычислить частное Y = U/V двух независимых случайных величин U и V, определите следующее преобразование:
Тогда плотность стыков п(у,z) можно вычислить заменой переменных из U, V к Y, Z, и Y может быть получен маргинализация Z от плотности стыка.
Обратное преобразование:
В Матрица якобиана этого преобразования
Таким образом:
И распределение Y можно вычислить маргинализация Z:
Этот метод критически требует, чтобы преобразование из U,V к Y,Z быть биективный. Вышеупомянутое преобразование соответствует этому, потому что Z может быть напрямую отображен на V, и для данного V частное U/V является монотонный. То же самое и с суммой U + V, разница U − V и продукт УФ.
Точно такой же метод можно использовать для вычисления распределения других функций от нескольких независимых случайных величин.
Пример: частное двух стандартных нормалей
Учитывая два стандартный нормальный переменные U и V, частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции плотности:
Трансформируем как описано выше:
Это ведет к:
Это плотность эталона Распределение Коши.
Смотрите также
- Оценка плотности
- Оценка плотности ядра
- Функция правдоподобия
- Список вероятностных распределений
- Вероятностная функция масс
- Вторичная мера
- Используется как плотность вероятности положения:
использованная литература
- ^ «Обзор статистики AP - кривые плотности и нормальные распределения». Архивировано из оригинал 2 апреля 2015 г.. Получено 16 марта 2015.
- ^ Гринстед, Чарльз М .; Снелл, Дж. Лори (2009). «Условная вероятность - дискретная условная» (PDF). Введение Гринстеда и Снелла в вероятность. Тексты Orange Grove. ISBN 161610046X. Получено 2019-07-25.
- ^ Функция распределения вероятностей PlanetMath В архиве 2011-08-07 на Wayback Machine
- ^ Функция вероятности в MathWorld
- ^ Орд, Дж. (1972) Семейства частотных распределений, Гриффин. ISBN 0-85264-137-0 (например, Таблица 5.1 и Пример 5.4)
- ^ Девор, Джей Л .; Берк, Кеннет Н. (2007). Современная математическая статистика с приложениями. Cengage. п. 263. ISBN 0-534-40473-1.
- ^ Дэвид, Стирзакер (01.01.2007). Элементарная вероятность. Издательство Кембриджского университета. ISBN 0521534283. OCLC 851313783.
дальнейшее чтение
- Биллингсли, Патрик (1979). Вероятность и мера. Нью-Йорк, Торонто, Лондон: Джон Вили и сыновья. ISBN 0-471-00710-2.
- Казелла, Джордж; Бергер, Роджер Л. (2002). Статистические выводы (Второе изд.). Томсон обучения. С. 34–37. ISBN 0-534-24312-6.
- Стирзакер, Дэвид (2003). Элементарная вероятность. ISBN 0-521-42028-8. Главы с 7 по 9 посвящены непрерывным переменным.
внешние ссылки
- Ушаков, Н. (2001) [1994], «Плотность распределения вероятностей», Энциклопедия математики, EMS Press
- Вайсштейн, Эрик В. "Функция плотности вероятности". MathWorld.