Мультиномиальное распределение - Multinomial distribution

Полиномиальный

Параметры	${ displaystyle n> 0}$ количество испытаний (целое число ) ${ displaystyle p_ {1}, ldots, p_ {k}}$ вероятности событий (${ displaystyle Sigma p_ {i} = 1}$)
Поддерживать	${ displaystyle x_ {i} in {0, dots, n }, , , , , i in {1, dots, k }}$ ${ Displaystyle Sigma x_ {i} = п !}$
PMF	${ displaystyle { frac {n!} {x_ {1}! cdots x_ {k}!}} p_ {1} ^ {x_ {1}} cdots p_ {k} ^ {x_ {k}}}$
Иметь в виду	${ displaystyle operatorname {E} (X_ {i}) = np_ {i}}$
Дисперсия	${ displaystyle operatorname {Var} (X_ {i}) = np_ {i} (1-p_ {i})}$ ${ displaystyle operatorname {Cov} (X_ {i}, X_ {j}) = - np_ {i} p_ {j} ~~ (i neq j)}$
Энтропия	${ displaystyle - log (n!) - n sum _ {i = 1} ^ {k} p_ {i} log (p_ {i}) + sum _ {i = 1} ^ {k} сумма _ {x_ {i} = 0} ^ {n} { binom {n} {x_ {i}}} p_ {i} ^ {x_ {i}} (1-p_ {i}) ^ {n- x_ {i}} log (x_ {i}!)}$
MGF	${ displaystyle { biggl (} sum _ {я = 1} ^ {k} p_ {i} e ^ {t_ {i}} { biggr)} ^ {n}}$
CF	${ displaystyle left ( sum _ {j = 1} ^ {k} p_ {j} e ^ {it_ {j}} right) ^ {n}}$ где ${ displaystyle i ^ {2} = - 1}$
PGF	${ displaystyle { biggl (} sum _ {i = 1} ^ {k} p_ {i} z_ {i} { biggr)} ^ {n} { text {for}} (z_ {1}, ldots, z_ {k}) in mathbb {C} ^ {k}}$

В теория вероятности, то полиномиальное распределение является обобщением биномиальное распределение. Например, он моделирует вероятность подсчета для каждой стороны k-сторонний штамп п раз. За п независимый испытания, каждое из которых приводит к успеху ровно одного из k категории, где каждая категория имеет заданную фиксированную вероятность успеха, полиномиальное распределение дает вероятность любой конкретной комбинации количества успехов для различных категорий.

Когда k равно 2 и п равно 1, полиномиальное распределение - это Распределение Бернулли. Когда k равно 2 и п больше 1, это биномиальное распределение. Когда k больше 2 и п равно 1, это категориальное распределение.

В Распределение Бернулли моделирует результат единого Бернулли суд. Другими словами, он моделирует, переворачивает ли (возможно, пристрастный ) монета один раз приведет либо к успеху (получение головы), либо к провалу (получение хвоста). В биномиальное распределение обобщает это на количество голов от выполнения п независимые броски (испытания Бернулли) одной и той же монеты. Полиномиальное распределение моделирует результат п эксперименты, где результат каждого испытания имеет категориальное распределение, например, прокатка k-сторонний штамп п раз.

Позволять k - фиксированное конечное число. Математически мы имеем k возможные взаимоисключающие исходы с соответствующими вероятностями п₁, ..., п_k, и п независимые судебные процессы. Поскольку k результаты являются взаимоисключающими, и одно должно произойти, мы имеем п_я ≥ 0 для я = 1, ..., k и ${ Displaystyle сумма _ {я = 1} ^ {к} р_ {я} = 1}$. Тогда если случайные величины Икс_я указать количество раз номер результата я наблюдается над п испытания, вектор Икс = (Икс₁, ..., Икс_k) следует полиномиальному распределению с параметрами п и п, где п = (п₁, ..., п_k). Хотя испытания независимы, их результаты Икс являются зависимыми, потому что их необходимо суммировать до n.

В некоторых областях, таких как обработка естественного языка, категориальное и полиномиальное распределения являются синонимами, и обычно говорят о полиномиальном распределении, когда категориальное распределение на самом деле имеется в виду. Это связано с тем, что иногда удобно выразить результат категориального распределения как вектор «1 из K» (вектор с одним элементом, содержащим 1, а все остальные элементы содержат 0), а не как целое число. В диапазоне ${ displaystyle 1 dots K}$; в этой форме категориальное распределение эквивалентно полиномиальному распределению по одному испытанию.

Технические характеристики

Вероятностная функция масс

Предположим, кто-то проводит эксперимент по извлечению п шары из k разные цвета из мешка, заменяя извлеченные шары после каждого розыгрыша. Шары одного цвета эквивалентны. Обозначим переменную, которая представляет собой количество извлеченных цветных шаров. я (я = 1, ..., k) так как Икс_я, и обозначим как п_я вероятность того, что данное извлечение будет цветным я. В функция массы вероятности этого полиномиального распределения:

${ displaystyle { begin {align} f (x_ {1}, ldots, x_ {k}; n, p_ {1}, ldots, p_ {k}) & {} = Pr (X_ {1} = x_ {1} { text {and}} dots { text {and}} X_ {k} = x_ {k}) & {} = { begin {cases} { displaystyle {n! over x_ {1}! cdots x_ {k}!} p_ {1} ^ {x_ {1}} times cdots times p_ {k} ^ {x_ {k}}}, quad & { текст {когда}} sum _ {i = 1} ^ {k} x_ {i} = n 0 & { text {в противном случае}} end {case}} end {align}}}$

для неотрицательных целых чисел Икс₁, ..., Икс_k.

Функция массы вероятности может быть выражена с помощью гамма-функция в качестве:

${ displaystyle f (x_ {1}, dots, x_ {k}; p_ {1}, ldots, p_ {k}) = { frac { Gamma ( sum _ {i} x_ {i} + 1)} { prod _ {i} Gamma (x_ {i} +1)}} prod _ {i = 1} ^ {k} p_ {i} ^ {x_ {i}}.}$

Эта форма показывает свое сходство с Распределение Дирихле, что является его сопряженный предшествующий.

Визуализация

Как срезы обобщенного треугольника Паскаля

Так же, как можно интерпретировать биномиальное распределение как (нормализованные) одномерные (1D) срезы Треугольник Паскаля, так же можно интерпретировать полиномиальное распределение как двумерные (треугольные) срезы Пирамида паскаля, или 3D / 4D / + (пирамидальные) срезы многомерных аналогов треугольника Паскаля. Это показывает интерпретацию ассортимент распределения: дискретизированные равноматериальные «пирамиды» в произвольной размерности, т.е. а симплекс с сеткой.^{[нужна цитата ]}

В качестве полиномиальных коэффициентов

Точно так же, как можно интерпретировать биномиальное распределение как полиномиальные коэффициенты ${ Displaystyle (п + (1-р)) ^ {п}}$ в развернутом виде можно интерпретировать полиномиальное распределение как коэффициенты ${ displaystyle (p_ {1} + p_ {2} + p_ {3} + cdots + p_ {k}) ^ {n}}$ при расширении. (Обратите внимание, что, как и в случае биномиального распределения, коэффициенты должны в сумме равняться 1.) Это происхождение названия "полиномиальный распределение".

Характеристики

В ожидается количество раз результат я наблюдалось за п испытания

${ displaystyle operatorname {E} (X_ {i}) = np_ {i}. ,}$

В ковариационная матрица составляет. Каждая диагональная запись - это отклонение биномиально распределенной случайной величины, и поэтому

${ displaystyle operatorname {Var} (X_ {i}) = np_ {i} (1-p_ {i}). ,}$

Недиагональные записи - это ковариации:

${ displaystyle operatorname {Cov} (X_ {i}, X_ {j}) = - np_ {i} p_ {j} ,}$

за я, j отчетливый.

Все ковариации отрицательны, поскольку для фиксированного п, увеличение одного компонента полиномиального вектора требует уменьшения другого компонента.

Когда эти выражения объединяются в матрицу с я, j элемент ${ displaystyle operatorname {cov} (X_ {i}, X_ {j}),}$ в результате k × k положительно-полуопределенный ковариационная матрица ранга k - 1. В частном случае, когда k = п и где п_я все равны, ковариационная матрица центрирующая матрица.

Записи соответствующих корреляционная матрица находятся

${ displaystyle rho (X_ {i}, X_ {i}) = 1.}$

${ displaystyle rho (X_ {i}, X_ {j}) = { frac { operatorname {Cov} (X_ {i}, X_ {j})} { sqrt { operatorname {Var} (X_ { i}) operatorname {Var} (X_ {j})}}} = { frac {-p_ {i} p_ {j}} { sqrt {p_ {i} (1-p_ {i}) p_ { j} (1-p_ {j})}}} = - { sqrt { frac {p_ {i} p_ {j}} {(1-p_ {i}) (1-p_ {j})}} }.}$

Обратите внимание, что размер выборки выпадает из этого выражения.

Каждый из k компоненты по отдельности имеет биномиальное распределение с параметрами п и п_я, для соответствующего значения нижнего индекса я.

В поддержка полиномиального распределения - это множество

${ displaystyle {(n_ {1}, dots, n_ {k}) in mathbb {N} ^ {k} mid n_ {1} + cdots + n_ {k} = n }. ,}$

Количество его элементов

${ displaystyle {n + k-1 select k-1}.}$

Матричные обозначения

В матричных обозначениях

${ Displaystyle OperatorName {E} ( mathbf {X}) = п mathbf {p}, ,}$

и

${ displaystyle operatorname {Var} ( mathbf {X}) = n lbrace operatorname {diag} ( mathbf {p}) - mathbf {p} mathbf {p} ^ { rm {T}} rbrace, ,}$

с п^Т = вектор-строка, транспонированная вектор-столбец п.

пример

Предположим, что на трехсторонних выборах в большой стране кандидат A получил 20% голосов, кандидат B получил 30% голосов, а кандидат C получил 50% голосов. Если шесть избирателей выбраны случайным образом, какова вероятность того, что в выборке будет ровно один сторонник кандидата A, два сторонника кандидата B и три сторонника кандидата C?

Примечание. Поскольку мы предполагаем, что число голосующих велико, разумно и допустимо считать вероятности неизменными после того, как избиратель будет выбран для выборки. С технической точки зрения это выборка без замены, поэтому правильным распределением является многомерное гипергеометрическое распределение, но распределения сходятся по мере роста населения.

${ displaystyle Pr (A = 1, B = 2, C = 3) = { frac {6!} {1! 2! 3!}} (0,2 ^ {1}) (0,3 ^ {2}) ( 0,5 ^ {3}) = 0,135}$

Выборка из полиномиального распределения

Сначала измените порядок параметров ${ displaystyle p_ {1}, ldots, p_ {k}}$ таким образом, чтобы они были отсортированы в порядке убывания (это только для ускорения вычислений и не является строго необходимым). Теперь для каждого испытания нарисуйте вспомогательную переменную Икс из равномерного (0, 1) распределения. Результирующий результат - компонент

${ displaystyle j = min left {j ' in {1, dots, k }: left ( sum _ {i = 1} ^ {j'} p_ {i} right) - X geq 0 right }.}$

{Икс_j = 1, Икс_k = 0 для k ≠ j } - одно наблюдение из полиномиального распределения с ${ displaystyle p_ {1}, ldots, p_ {k}}$ и п = 1. Сумма независимых повторений этого эксперимента представляет собой наблюдение из полиномиального распределения с п равно количеству таких повторений.

Для моделирования из полиномиального распределения

Для моделирования из полиномиального распределения могут использоваться различные методы. Очень простое решение - использовать однородный генератор псевдослучайных чисел на (0,1). Сначала разделим интервал (0,1) наk подынтервалы, равные по длине вероятностям k категории. Затем мы генерируем п независимых псевдослучайных чисел, чтобы определить, в каком из k интервалы, которые они встречаются, и подсчитывают количество появлений в каждом интервале.

пример

Если у нас есть:

Затем с помощью такого программного обеспечения, как Excel, мы можем использовать следующий рецепт:

После этого мы будем использовать такие функции, как SumIf, для накопления наблюдаемых результатов по категориям и для вычисления оценочной ковариационной матрицы для каждой моделируемой выборки.

Другой способ - использовать дискретный генератор случайных чисел. В этом случае категории должны быть помечены или перемаркированы числовыми значениями.

В обоих случаях результатом является полиномиальное распределение с k категории. Это эквивалентно с непрерывным случайным распределением для моделирования k независимые стандартизованные нормальные распределения или мультинормальное распределение N (0, I), имеющее k компоненты одинаково распределены и статистически независимы.

Поскольку количество всех категорий должно быть суммировано с количеством испытаний, количество категорий всегда имеет отрицательную корреляцию.^[1]

Тесты эквивалентности для полиномиальных распределений

Цель проверки эквивалентности - установить соответствие между теоретическим полиномиальным распределением и наблюдаемой частотой счета. Теоретическое распределение может быть полностью заданным полиномиальным распределением или параметрическим семейством полиномиальных распределений.

Позволять ${ displaystyle q}$ обозначим теоретическое полиномиальное распределение и пусть ${ displaystyle p}$ быть истинным основным распределением. Распределения ${ displaystyle p}$ и ${ displaystyle q}$ считаются эквивалентными, если ${ Displaystyle д (п, д) < varepsilon}$ на расстоянии ${ displaystyle d}$ и параметр допуска ${ displaystyle varepsilon> 0}$. Задача проверки эквивалентности ${ Displaystyle H_ {0} = {d (p, q) geq varepsilon }}$ против ${ Displaystyle H_ {1} = {d (p, q) < varepsilon }}$. Истинное основное распределение ${ displaystyle p}$ неизвестно. Вместо этого частота счета ${ displaystyle p_ {n}}$ наблюдаются, где ${ displaystyle n}$ размер выборки. Тест эквивалентности использует ${ displaystyle p_ {n}}$ отказаться ${ displaystyle H_ {0}}$. Если ${ displaystyle H_ {0}}$ можно отвергнуть, то эквивалентность между ${ displaystyle p}$ и ${ displaystyle q}$ отображается на заданном уровне значимости. Тест эквивалентности евклидова расстояния можно найти в учебнике Веллека (2010).^[2] Тест эквивалентности для общей дистанции вариации разработан в Ostrovski (2017).^[3] Точный критерий эквивалентности для конкретного кумулятивного расстояния предложен Фреем (2009).^[4]

Расстояние между истинным базовым распределением ${ displaystyle p}$ и семейство полиномиальных распределений ${ Displaystyle { mathcal {M}}}$ определяется ${ displaystyle d (p, { mathcal {M}}) = min _ {h in { mathcal {M}}} d (p, h)}$. Тогда задача проверки эквивалентности дается формулой ${ displaystyle H_ {0} = {d (p, { mathcal {M}}) geq varepsilon }}$ и ${ Displaystyle H_ {1} = {d (p, { mathcal {M}}) < varepsilon }}$. Расстояние ${ displaystyle d (p, { mathcal {M}})}$ обычно вычисляется с использованием численной оптимизации. Тесты для этого случая недавно были разработаны Островским (2018).^[5]

Связанные дистрибутивы

• Когда k = 2, полиномиальным распределением является биномиальное распределение.
• Категориальное распределение, распределение каждого испытания; за k = 2, это Распределение Бернулли.
• В Распределение Дирихле это сопряженный предшествующий полинома в Байесовская статистика.
• Дирихле-полиномиальное распределение.
• Бета-биномиальная модель.
• Отрицательное полиномиальное распределение
• Принцип Харди – Вайнберга (это трехчленное распределение с вероятностями ${ Displaystyle ( тета ^ {2}, 2 тета (1- тета), (1- тета) ^ {2})}$)

Рекомендации

Цитаты

Источники