Функция создания моментов - Moment-generating function

В теория вероятности и статистика, то момент-производящая функция ценного случайная переменная альтернативная спецификация его распределение вероятностей. Таким образом, он обеспечивает основу для альтернативного пути получения аналитических результатов по сравнению с непосредственной работой с функции плотности вероятности или кумулятивные функции распределения. Особенно простые результаты получены для функций распределений, порождающих моменты, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, производящие моменты.

Как следует из названия, момент производящая функция может использоваться для вычисления распределения моменты: the пмомент около 0 - это п-я производная функции создания момента, оцениваемая как 0.

В дополнение к распределениям с действительными значениями (одномерные распределения), функции, генерирующие моменты, могут быть определены для векторных или матричных случайных величин и даже могут быть расширены на более общие случаи.

Производящая момент функция вещественнозначного распределения не всегда существует, в отличие от характеристическая функция. Существуют связи между поведением функции распределения момента, порождающей момент, и свойствами распределения, такими как наличие моментов.

Определение

Производящая момент функция случайная переменная Икс является

${ displaystyle M_ {X} (t): = operatorname {E} left [e ^ {tX} right], quad t in mathbb {R},}$

где бы это ожидание существуют. Другими словами, производящая момент функция Икс это ожидание случайной величины ${ displaystyle e ^ {tX}}$. В более общем плане, когда ${ Displaystyle mathbf {X} = (X_ {1}, ldots, X_ {n}) ^ { mathrm {T}}}$, ${ displaystyle n}$-размерный случайный вектор, и ${ displaystyle mathbf {t}}$ - фиксированный вектор, используется ${ Displaystyle mathbf {т} cdot mathbf {X} = mathbf {t} ^ { mathrm {T}} mathbf {X}}$ вместо того${ displaystyle tX}$:

${ displaystyle M _ { mathbf {X}} ( mathbf {t}): = operatorname {E} left (e ^ { mathbf {t} ^ { mathrm {T}} mathbf {X}} верно).}$

${ displaystyle M_ {X} (0)}$ всегда существует и равен 1. Однако ключевая проблема с функциями, производящими момент, состоит в том, что моменты и функция, производящая момент, могут не существовать, поскольку интегралы не обязательно сходятся абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (потому что это интеграл от ограниченной функции на пространстве конечных мера ), и для некоторых целей может использоваться вместо него.

Функция, генерирующая момент, названа так потому, что ее можно использовать для нахождения моментов распределения.^[1] Расширение серии ${ displaystyle e ^ {tX}}$ является

${ displaystyle e ^ {t , X} = 1 + t , X + { frac {t ^ {2} , X ^ {2}} {2!}} + { frac {t ^ {3} , X ^ {3}} {3!}} + Cdots + { frac {t ^ {n} , X ^ {n}} {n!}} + Cdots.}$

Следовательно

${ displaystyle { begin {align} M_ {X} (t) = operatorname {E} (e ^ {t , X}) & = 1 + t operatorname {E} (X) + { frac { t ^ {2} operatorname {E} (X ^ {2})} {2!}} + { frac {t ^ {3} operatorname {E} (X ^ {3})} {3!} } + cdots + { frac {t ^ {n} operatorname {E} (X ^ {n})} {n!}} + cdots & = 1 + tm_ {1} + { frac { t ^ {2} m_ {2}} {2!}} + { frac {t ^ {3} m_ {3}} {3!}} + cdots + { frac {t ^ {n} m_ { n}} {n!}} + cdots, end {выравнивается}}}$

где ${ displaystyle m_ {n}}$ это ${ displaystyle n}$th момент. Дифференцировать ${ Displaystyle M_ {X} (т)}$ ${ displaystyle i}$ раз относительно ${ displaystyle t}$ и установка ${ displaystyle t = 0}$, получаем ${ displaystyle i}$ый момент о происхождении, ${ displaystyle m_ {i}}$;увидеть Расчеты моментов ниже.

Если ${ displaystyle X}$ является непрерывной случайной величиной, следующее соотношение между ее порождающей функцией момента ${ Displaystyle M_ {X} (т)}$ и двустороннее преобразование Лапласа функции плотности вероятности ${ displaystyle f_ {X} (x)}$ держит:

${ Displaystyle M_ {X} (t) = { mathcal {L}} {f_ {X} } (- t),}$

поскольку двустороннее преобразование Лапласа PDF задается как

${ displaystyle { mathcal {L}} {f_ {X} } (s) = int _ {- infty} ^ { infty} e ^ {- sx} f_ {X} (x) , dx,}$

и определение функции создания моментов расширяется (на закон бессознательного статистика ) к

${ Displaystyle M_ {X} (t) = operatorname {E} left [e ^ {tX} right] = int _ {- infty} ^ { infty} e ^ {tx} f_ {X} (х) , dx.}$

Это согласуется с характеристической функцией ${ displaystyle X}$ будучи Вращение фитиля из ${ Displaystyle M_ {X} (т)}$ когда существует функция, производящая момент, как характеристическая функция непрерывной случайной величины ${ displaystyle X}$ это преобразование Фурье функции плотности вероятности ${ displaystyle f_ {X} (x)}$, и вообще когда функция ${ displaystyle f (x)}$ имеет экспоненциальный порядок, преобразование Фурье ${ displaystyle f}$ представляет собой вращение Вика его двустороннего преобразования Лапласа в области сходимости. Видеть связь преобразований Фурье и Лапласа для дополнительной информации.

Примеры

Вот несколько примеров функции создания момента и характеристической функции для сравнения. Видно, что характеристическая функция - это Вращение фитиля момент производящей функции ${ Displaystyle M_ {X} (т)}$ когда последний существует.

Распределение	Функция создания моментов ${ Displaystyle M_ {X} (т)}$	Характеристическая функция ${ Displaystyle varphi (т)}$
Вырожденный ${ displaystyle delta _ {a}}$	${ displaystyle e ^ {ta}}$	${ displaystyle e ^ {ita}}$
Бернулли ${ Displaystyle P (X = 1) = p}$	${ displaystyle 1-p + pe ^ {t}}$	${ displaystyle 1-p + pe ^ {it}}$
Геометрический ${ Displaystyle (1-р) ^ {к-1} , р}$	${ displaystyle { frac {pe ^ {t}} {1- (1-p) e ^ {t}}}}$ ${ displaystyle forall t <- ln (1-p)}$	${ displaystyle { frac {pe ^ {it}} {1- (1-p) , e ^ {it}}}}$
Биномиальный ${ Displaystyle В (п, р)}$	${ displaystyle left (1-p + pe ^ {t} right) ^ {n}}$	${ displaystyle left (1-p + pe ^ {it} right) ^ {n}}$
Отрицательный бином ${ displaystyle operatorname {NB} (r, p)}$	${ displaystyle left ({ frac {pe ^ {t}} {1-e ^ {t} + pe ^ {t}}} right) ^ {r}}$	${ displaystyle left ({ frac {pe ^ {it}} {1-e ^ {it} + pe ^ {it}}} right) ^ {r}}$
Пуассон ${ displaystyle operatorname {Pois} ( lambda)}$	${ Displaystyle е ^ { лямбда (е ^ {т} -1)}}$	${ Displaystyle е ^ { лямбда (е ^ {это} -1)}}$
Равномерное (непрерывное) ${ Displaystyle OperatorName {U} (а, б)}$	${ displaystyle { frac {e ^ {tb} -e ^ {ta}} {t (b-a)}}}$	${ displaystyle { frac {e ^ {itb} -e ^ {ita}} {it (b-a)}}}$
Равномерное (дискретное) ${ displaystyle operatorname {DU} (a, b)}$	${ displaystyle { frac {e ^ {at} -e ^ {(b + 1) t}} {(b-a + 1) (1-e ^ {t})}}}$	${ displaystyle { frac {e ^ {ait} -e ^ {(b + 1) it}} {(b-a + 1) (1-e ^ {it})}}}$
Лаплас ${ Displaystyle L ( му, Ь)}$	${ displaystyle { frac {e ^ {t mu}} {1-b ^ {2} t ^ {2}}}, ~ | t | <1 / b}$	${ displaystyle { frac {e ^ {it mu}} {1 + b ^ {2} t ^ {2}}}}$
Нормальный ${ Displaystyle N ( му, sigma ^ {2})}$	${ Displaystyle е ^ {т му + { гидроразрыва {1} {2}} sigma ^ {2} т ^ {2}}}$	${ displaystyle e ^ {it mu - { frac {1} {2}} sigma ^ {2} t ^ {2}}}$
Хи-квадрат ${ displaystyle chi _ {k} ^ {2}}$	${ displaystyle (1-2t) ^ {- { frac {k} {2}}}}$	${ displaystyle (1-2it) ^ {- { frac {k} {2}}}}$
Нецентральный хи-квадрат ${ Displaystyle чи _ {к} ^ {2} ( лямбда)}$	${ displaystyle e ^ { lambda t / (1-2t)} (1-2t) ^ {- { frac {k} {2}}}}$	${ displaystyle e ^ {я lambda t / (1-2it)} (1-2it) ^ {- { frac {k} {2}}}}$
Гамма ${ Displaystyle Гамма (к, тета)}$	${ displaystyle (1-t theta) ^ {- k}, ~ forall t <{ tfrac {1} { theta}}}$	${ Displaystyle (1-оно тета) ^ {- к}}$
Экспоненциальный ${ displaystyle operatorname {Exp} ( lambda)}$	${ displaystyle left (1-t lambda ^ {- 1} right) ^ {- 1}, ~ t < lambda}$	${ displaystyle left (1-it lambda ^ {- 1} right) ^ {- 1}}$
Многомерный нормальный ${ Displaystyle N ( mathbf { mu}, mathbf { Sigma})}$	${ displaystyle e ^ { mathbf {t} ^ { mathrm {T}} left ({ boldsymbol { mu}} + { frac {1} {2}} mathbf { Sigma t} right )}}$	${ displaystyle e ^ { mathbf {t} ^ { mathrm {T}} left (я { boldsymbol { mu}} - { frac {1} {2}} { boldsymbol { Sigma}} mathbf {t} right)}}$
Коши ${ displaystyle operatorname {Cauchy} ( mu, theta)}$	Не существует	${ Displaystyle е ^ {это му - тета | т |}}$
Многомерный Коши ${ displaystyle operatorname {MultiCauchy} ( mu, Sigma)}$[2]	Не существует	${ displaystyle ! , e ^ {я mathbf {t} ^ { mathrm {T}} { boldsymbol { mu}} - { sqrt { mathbf {t} ^ { mathrm {T}} { boldsymbol { Sigma}} mathbf {t}}}}}$

Расчет

Функция создания момента - это математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретного функция массы вероятности, ${ displaystyle M_ {X} (t) = sum _ {i = 1} ^ { infty} e ^ {tx_ {i}} , p_ {i}}$
• Для непрерывного функция плотности вероятности, ${ Displaystyle M_ {X} (t) = int _ {- infty} ^ { infty} e ^ {tx} f (x) , dx}$
• В общем случае: ${ displaystyle M_ {X} (t) = int _ {- infty} ^ { infty} e ^ {tx} , dF (x)}$, с использованием Интеграл Римана – Стилтьеса., и где ${ displaystyle F}$ это кумулятивная функция распределения.

Обратите внимание, что для случая, когда ${ displaystyle X}$ имеет непрерывный функция плотности вероятности ${ displaystyle f (x)}$, ${ Displaystyle M_ {X} (- t)}$ это двустороннее преобразование Лапласа из ${ displaystyle f (x)}$.

${ Displaystyle { begin {align} M_ {X} (t) & = int _ {- infty} ^ { infty} e ^ {tx} f (x) , dx & = int _ {- infty} ^ { infty} left (1 + tx + { frac {t ^ {2} x ^ {2}} {2!}} + cdots + { frac {t ^ {n} x) ^ {n}} {n!}} + cdots right) f (x) , dx & = 1 + tm_ {1} + { frac {t ^ {2} m_ {2}} {2 !}} + cdots + { frac {t ^ {n} m_ {n}} {n!}} + cdots, end {align}}}$

где ${ displaystyle m_ {n}}$ это ${ displaystyle n}$th момент.

Линейные преобразования случайных величин

Если случайная величина ${ displaystyle X}$ имеет функцию производства моментов ${ Displaystyle M_ {X} (т)}$, тогда ${ Displaystyle альфа Х + бета}$ имеет функцию производства моментов ${ Displaystyle М _ { альфа Х + бета} (т) = е ^ { бета т} М_ {Х} ( альфа т)}$

${ Displaystyle M _ { альфа X + бета} (t) = E [e ^ {( alpha X + beta) t}] = e ^ { beta t} E [e ^ { alpha Xt}] = e ^ { beta t} M_ {X} ( alpha t)}$

Линейная комбинация независимых случайных величин

Если ${ displaystyle S_ {n} = sum _ {i = 1} ^ {n} a_ {i} X_ {i}}$, где Икс_я являются независимыми случайными величинами, а а_я являются константами, то функция плотности вероятности для S_п это свертка функций плотности вероятности каждого из Икс_я, а производящая функция для S_п дан кем-то

${ Displaystyle M_ {S_ {n}} (t) = M_ {X_ {1}} (a_ {1} t) M_ {X_ {2}} (a_ {2} t) cdots M_ {X_ {n} }(муравей),.}$

Векторнозначные случайные величины

За векторные случайные величины ${ displaystyle mathbf {X}}$ с настоящий компонентов, функция создания момента задается

${ Displaystyle M_ {X} ( mathbf {t}) = E left (e ^ { langle mathbf {t}, mathbf {X} rangle} right)}$

где ${ displaystyle mathbf {t}}$ вектор и ${ Displaystyle langle cdot, cdot rangle}$ это скалярное произведение.

Важные свойства

Функции, порождающие моменты, положительны и бревенчато-выпуклый, с участием M(0) = 1.

Важным свойством функции создания момента является то, что она однозначно определяет распределение. Другими словами, если ${ displaystyle X}$ и ${ displaystyle Y}$ - две случайные величины и для всех значенийт,

${ Displaystyle M_ {X} (т) = M_ {Y} (т), ,}$

тогда

${ Displaystyle F_ {X} (х) = F_ {Y} (х) ,}$

для всех значений Икс (или эквивалентно Икс и Y имеют такое же распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они идентичны во всех точках». Это связано с тем, что в некоторых случаях моменты существуют, а функции, производящей момент, нет, потому что предел

${ displaystyle lim _ {n rightarrow infty} sum _ {i = 0} ^ {n} { frac {t ^ {i} m_ {i}} {i!}}}$

может не существовать. В логнормальное распределение является примером того, когда это происходит.

Расчеты моментов

Функция, генерирующая момент, называется так потому, что, если она существует на открытом интервале вокруг т = 0, то это экспоненциальная производящая функция из моменты из распределение вероятностей:

${ displaystyle m_ {n} = E left (X ^ {n} right) = M_ {X} ^ {(n)} (0) = left. { frac {d ^ {n} M_ {X }} {dt ^ {n}}} right | _ {t = 0}.}$

То есть с п будучи неотрицательным целым числом, пмомент около 0 - это п-я производная производящей функции момента, вычисленная на т = 0.

Другие свойства

Неравенство Дженсена дает простую нижнюю границу для функции создания момента:

${ Displaystyle M_ {X} (т) geq e ^ { mu t},}$

где ${ displaystyle mu}$ среднее значение Икс.

Верхняя граница функции создания момента может использоваться в сочетании с Неравенство Маркова ограничить верхний хвост реальной случайной величины Икс. Это утверждение также называют Чернов граница. С ${ Displaystyle х mapsto e ^ {xt}}$ монотонно возрастает при ${ displaystyle t> 0}$, у нас есть

${ Displaystyle P (Икс geq a) = P (e ^ {tX} geq e ^ {ta}) leq e ^ {- at} E [e ^ {tX}] = e ^ {- at} M_ {X} (t)}$

для любого ${ displaystyle t> 0}$ и любой а, при условии ${ Displaystyle M_ {X} (т)}$ существуют. Например, когда Икс стандартное нормальное распределение и ${ displaystyle a> 0}$, мы можем выбрать ${ Displaystyle т = а}$ и напомним, что ${ Displaystyle M_ {X} (т) = е ^ {т ^ {2} / 2}}$. Это дает ${ Displaystyle Р (Икс GEQ а) Leq е ^ {- а ^ {2} / 2}}$, что в пределах 1+а точного значения.

Различные леммы, например Лемма Хёффдинга или Неравенство Беннета обеспечивают границы функции создания момента в случае ограниченной случайной величины с нулевым средним.

Когда ${ displaystyle X}$ неотрицательна, производящая функция момента дает простую и полезную оценку моментов:

${ displaystyle E [X ^ {m}] leq left ({ frac {m} {te}} right) ^ {m} M_ {X} (t),}$

Для любого ${ displaystyle X, м geq 0}$ и ${ displaystyle t> 0}$.

Это следует из простого неравенства ${ Displaystyle 1 + х Leq е ^ {х}}$ в который мы можем заменить ${ displaystyle x '= tx / m-1}$ подразумевает ${ displaystyle tx / m leq e ^ {tx / m-1}}$ для любого ${ displaystyle x, t, m in mathbb {R}}$.Сейчас если ${ displaystyle t> 0}$ и ${ Displaystyle х, м geq 0}$, это можно изменить на ${ Displaystyle х ^ {m} leq (m / (te)) ^ {m} e ^ {tx}}$.Ожидание с обеих сторон дает предел ${ displaystyle E [X ^ {m}]}$ с точки зрения ${ Displaystyle E [е ^ {tX}]}$.

В качестве примера рассмотрим ${ displaystyle X sim { text {Chi-Squared}}}$ с ${ displaystyle k}$ степени свободы. потом мы знаем ${ displaystyle M_ {X} (t) = (1-2t) ^ {- k / 2}}$.Выбор ${ Displaystyle т = м / (2 м + к)}$ и подключившись к границе, мы получаем

${ displaystyle E [X ^ {m}] leq (1 + 2m / k) ^ {k / 2} e ^ {- m} (k + 2m) ^ {m}.}$

Мы знаем это в этом случае правильная граница ${ Displaystyle Е [X ^ {m}] Leq 2 ^ {m} Gamma (m + k / 2) / Gamma (k / 2)}$. Для сравнения оценок можно рассмотреть асимптотику при больших ${ displaystyle k}$Здесь оценка Mgf равна ${ Displaystyle к ^ {м} (1 + м ^ {2} / к + О (1 / к ^ {2}))}$, где действительная оценка ${ displaystyle k ^ {m} (1+ (m ^ {2} -m) / k + O (1 / k ^ {2}))}$Таким образом, оценка Mgf в этом случае очень сильна.

Отношение к другим функциям

С функцией создания момента связан ряд других трансформирует распространены в теории вероятностей:

Характеристическая функция

В характеристическая функция ${ Displaystyle varphi _ {X} (т)}$ связана с производящей момент функцией через ${ displaystyle varphi _ {X} (t) = M_ {iX} (t) = M_ {X} (it):}$ характеристическая функция является производящей момент функцией iX или производящая функция момента Икс оценивается на мнимой оси. Эту функцию также можно рассматривать как преобразование Фурье из функция плотности вероятности, который, следовательно, может быть выведен из него с помощью обратного преобразования Фурье.

Кумулянт-производящая функция

В кумулянт-производящая функция определяется как логарифм функции, производящей момент; некоторые вместо этого определяют функцию генерации кумулянта как логарифм характеристическая функция, в то время как другие называют это последним второй кумулянт-производящая функция.

Вероятностно-производящая функция

В функция, генерирующая вероятность определяется как ${ Displaystyle G (z) = E влево [z ^ {X} вправо]. ,}$ Отсюда сразу следует, что ${ Displaystyle G (e ^ {t}) = E left [e ^ {tX} right] = M_ {X} (t). ,}$

Смотрите также

• Энтропийная ценность под угрозой
• Факториальная производящая функция момента
• Функция оценки
• Проблема моментов гамбургера

Эта статья включает в себя список общих Рекомендации, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. Пожалуйста, помогите улучшать эта статья введение более точные цитаты. (Февраль 2010 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Рекомендации

Цитаты

Источники