Условная независимость - Conditional independence

Часть серии по статистика
Теория вероятности
Аксиомы вероятности
Пространство вероятностей Образец пространства Элементарное событие Мероприятие Случайная переменная Вероятностная мера
Дополнительное мероприятие Совместная вероятность Предельная вероятность Условная возможность
Независимость Условная независимость Закон полной вероятности Закон больших чисел Теорема Байеса Неравенство Буля
Диаграмма Венна Древовидная диаграмма

В теория вероятности, два случайных события ${ displaystyle A}$ и ${ displaystyle B}$ находятся условно независимый учитывая третье событие ${ displaystyle C}$ именно если возникновение ${ displaystyle A}$ и возникновение ${ displaystyle B}$ находятся независимый события в их условное распределение вероятностей данный ${ displaystyle C}$. Другими словами, ${ displaystyle A}$ и ${ displaystyle B}$ условно независимы с учетом ${ displaystyle C}$ если и только если, учитывая знание, что ${ displaystyle C}$ происходит, знание того, ${ displaystyle A}$ происходит, не дает информации о вероятности ${ displaystyle B}$ происходит, и знание того, ${ displaystyle B}$ происходит, не дает информации о вероятности ${ displaystyle A}$ происходящее.

Концепция условной независимости может быть расширена от случайных событий до случайных величин и случайных векторов.

Условная независимость событий

Определение

В стандартных обозначениях теории вероятностей ${ displaystyle A}$ и ${ displaystyle B}$ условно независимы с учетом ${ displaystyle C}$ если и только если ${ Displaystyle Pr (A cap B mid C) = Pr (A mid C) Pr (B mid C)}$. Условная независимость ${ displaystyle A}$ и ${ displaystyle B}$ данный ${ displaystyle C}$ обозначается ${ Displaystyle (А перп ! ! ! перп В) середина С}$. Формально:

${ Displaystyle (А перп ! ! ! перп В) середина С четырехъядерный iff четырехъядерный Pr (А крышка В середина С) = Пр (А середина С) Pr (В mid C)}$

(Уравнение 1)

или эквивалентно,

${ Displaystyle (А перп ! ! ! перп В) середина С четырехъядерный iff четырехъядерный Pr (А середина В крышка С) = Пр (А середина С) четырехъядерный { текст {или}} quad Pr (B mid C) = 1.}$

Примеры

Обсуждение на StackExchange предоставляет несколько полезных примеров. Смотри ниже.^[1]

Цветные коробки

Каждая ячейка представляет собой возможный результат. События ${ displaystyle color {красный} R}$, ${ displaystyle color {синий} B}$ и ${ displaystyle color {золото} Y}$ представлены заштрихованными областями красный, синий и желтый соответственно. Наложение событий ${ displaystyle color {красный} R}$ и ${ displaystyle color {синий} B}$ заштрихован фиолетовый.

Вероятности этих событий обозначены заштрихованными областями по отношению к общей площади. В обоих примерах ${ displaystyle color {красный} R}$ и ${ displaystyle color {синий} B}$ условно независимы с учетом ${ displaystyle color {золото} Y}$ потому что:

${ displaystyle Pr ({ color {red} R} cap { color {blue} B} mid { color {gold} Y}) = Pr ({ color {red} R} mid { color {gold} Y}) Pr ({ color {blue} B} mid { color {gold} Y})}$^[2]

но не условно независимый ${ displaystyle left [{ text {not}} { color {gold} Y} right]}$ потому что:

${ displaystyle Pr ({ color {red} R} cap { color {blue} B} mid { text {not}} { color {gold} Y}) not = Pr ({ цвет {красный} R} mid { text {not}} { color {gold} Y}) Pr ({ color {blue} B} mid { text {not}} { color {gold} Y})}$

Погода и задержки

Пусть двумя событиями будут вероятности того, что люди A и B вернутся домой к обеду, а третье событие - это факт, что на город обрушилась снежная буря. Хотя и A, и B имеют более низкую вероятность прийти домой к обеду, более низкие вероятности все равно будут независимы друг от друга. То есть знание того, что А опаздывает, не говорит вам, опоздает ли Б. (Они могут жить в разных районах, путешествовать на разные расстояния и пользоваться разными видами транспорта.) Однако, если у вас есть информация о том, что они живут в одном районе, пользуются одним и тем же транспортом и работают в одном месте, тогда оба события НЕ являются условно независимыми.

Игра в кости

Условная независимость зависит от характера третьего события. Если вы бросаете два кубика, можно предположить, что эти два кубика ведут себя независимо друг от друга. Просмотр результатов одного кубика не скажет вам о результате второго кубика. (То есть два кубика независимы.) Однако, если результат 1-го кубика равен 3, и кто-то сообщает вам о третьем событии - что сумма двух результатов четная, - то эта дополнительная единица информации ограничивает варианты 2-го результата на нечетное число. Другими словами, два события могут быть независимыми, но НЕ условно независимыми.

Рост и словарный запас

Рост и словарный запас зависят от того, что очень маленькие люди, как правило, дети, известные своим базовым словарным запасом. Но зная, что двум людям 19 лет (т.е.в зависимости от возраста), нет причин думать, что словарный запас одного человека больше, если нам говорят, что они выше.

Условная независимость случайных величин

Два случайные переменные ${ displaystyle X}$ и ${ displaystyle Y}$ условно независимы с учетом третьей случайной величины ${ displaystyle Z}$ тогда и только тогда, когда они независимы в своем условном распределении вероятностей, заданном ${ displaystyle Z}$. То есть, ${ displaystyle X}$ и ${ displaystyle Y}$ условно независимы с учетом ${ displaystyle Z}$ тогда и только тогда, когда при любом значении ${ displaystyle Z}$, распределение вероятностей ${ displaystyle X}$ одинаков для всех значений ${ displaystyle Y}$ и распределение вероятностей ${ displaystyle Y}$ одинаков для всех значений ${ displaystyle X}$. Формально:

${ Displaystyle (Икс перп ! ! ! перп Y) середина Z четырехугольник iff quad F_ {X, Y , mid , Z , = , z} (x, y) = F_ {X , mid , Z , = , z} (x) cdot F_ {Y , mid , Z , = , z} (y) quad { text {для все}} x, y, z}$

(Уравнение 2)

куда ${ Displaystyle F_ {X, Y , mid , Z , = , z} (x, y) = Pr (X leq x, Y leq y mid Z = z)}$ условный кумулятивная функция распределения из ${ displaystyle X}$ и ${ displaystyle Y}$ данный ${ displaystyle Z}$.

Два события ${ displaystyle R}$ и ${ displaystyle B}$ условно независимы при условии σ-алгебра ${ displaystyle Sigma}$ если

${ Displaystyle Pr (R cap B mid Sigma) = Pr (R mid Sigma) Pr (B mid Sigma) { text {a.s.}}}$

куда ${ Displaystyle Pr (А мид Sigma)}$ обозначает условное ожидание из индикаторная функция события ${ displaystyle A}$, ${ displaystyle chi _ {A}}$, учитывая сигма-алгебру ${ displaystyle Sigma}$. То есть,

${ displaystyle Pr (A mid Sigma): = operatorname {E} [ chi _ {A} mid Sigma].}$

Две случайные величины ${ displaystyle X}$ и ${ displaystyle Y}$ условно независимы для σ-алгебры ${ displaystyle Sigma}$ если указанное выше уравнение выполняется для всех ${ displaystyle R}$ в ${ Displaystyle sigma (X)}$ и ${ displaystyle B}$ в ${ displaystyle sigma (Y)}$.

Две случайные величины ${ displaystyle X}$ и ${ displaystyle Y}$ условно независимы для случайной величины ${ displaystyle W}$ если они независимы, учитывая σ(W): σ-алгебра, порожденная ${ displaystyle W}$. Обычно это пишут:

${ displaystyle X perp ! ! ! perp Y mid W}$ или же

${ displaystyle X perp Y mid W}$

Это читается "${ displaystyle X}$ не зависит от ${ displaystyle Y}$, данный ${ displaystyle W}$"; условность применяется ко всему утверждению:" (${ displaystyle X}$ не зависит от ${ displaystyle Y}$) данный ${ displaystyle W}$".

${ displaystyle (X perp ! ! ! perp Y) mid W}$

Если ${ displaystyle W}$ предполагает счетный набор значений, это эквивалентно условной независимости Икс и Y для событий формы ${ displaystyle [W = w]}$Аналогично определяется условная независимость более двух событий или более двух случайных величин.

Следующие два примера показывают, что ${ Displaystyle X перп ! ! ! перп Y}$ не подразумевает и не подразумевается ${ displaystyle (X perp ! ! ! perp Y) mid W}$. Во-первых, предположим ${ displaystyle W}$ равен 0 с вероятностью 0,5 и 1 в противном случае. Когда W = 0 взять ${ displaystyle X}$ и ${ displaystyle Y}$ быть независимыми, каждый из которых имеет значение 0 с вероятностью 0,99 и значение 1 в противном случае. Когда ${ displaystyle W = 1}$, ${ displaystyle X}$ и ${ displaystyle Y}$ снова независимы, но на этот раз они принимают значение 1 с вероятностью 0,99. потом ${ displaystyle (X perp ! ! ! perp Y) mid W}$. Но ${ displaystyle X}$ и ${ displaystyle Y}$ зависимы, поскольку Pr (Икс = 0) Икс = 0|Y = 0). Это потому, что Pr (Икс = 0) = 0,5, но если Y = 0, то очень вероятно, что W = 0 и, значит, Икс = 0, поэтому Pr (Икс = 0|Y = 0)> 0,5. Для второго примера предположим ${ Displaystyle X перп ! ! ! перп Y}$, каждое из которых принимает значения 0 и 1 с вероятностью 0,5. Позволять ${ displaystyle W}$ быть продуктом ${ Displaystyle X cdot Y}$. Потом, когда ${ displaystyle W = 0}$, Pr (Икс = 0) = 2/3, но Pr (Икс = 0|Y = 0) = 1/2, поэтому ${ displaystyle (X perp ! ! ! perp Y) mid W}$ ложно. Это также пример объяснения прочь. См. Руководство Кевина Мерфи ^[3] куда ${ displaystyle X}$ и ${ displaystyle Y}$ принимают значения «умный» и «спортивный».

Условная независимость случайных векторов

Два случайные векторы ${ Displaystyle mathbf {X} = (X_ {1}, ldots, X_ {l}) ^ { mathrm {T}}}$ и ${ Displaystyle mathbf {Y} = (Y_ {1}, ldots, Y_ {m}) ^ { mathrm {T}}}$ условно независимы с учетом третьего случайного вектора ${ Displaystyle mathbf {Z} = (Z_ {1}, ldots, Z_ {n}) ^ { mathrm {T}}}$ тогда и только тогда, когда они независимы в своем условном кумулятивном распределении, заданном ${ displaystyle mathbf {Z}}$. Формально:

${ displaystyle ( mathbf {X} perp ! ! ! perp mathbf {Y}) mid mathbf {Z} quad iff quad F _ { mathbf {X}, mathbf {Y } | mathbf {Z} = mathbf {z}} ( mathbf {x}, mathbf {y}) = F _ { mathbf {X} , mid , mathbf {Z} , = , mathbf {z}} ( mathbf {x}) cdot F _ { mathbf {Y} , mid , mathbf {Z} , = , mathbf {z}} ( mathbf {y }) quad { text {для всех}} mathbf {x}, mathbf {y}, mathbf {z}}$

(Уравнение 3)

куда ${ Displaystyle mathbf {x} = (x_ {1}, ldots, x_ {l}) ^ { mathrm {T}}}$, ${ Displaystyle mathbf {y} = (y_ {1}, ldots, y_ {m}) ^ { mathrm {T}}}$ и ${ Displaystyle mathbf {z} = (z_ {1}, ldots, z_ {n}) ^ { mathrm {T}}}$ и условные кумулятивные распределения определяются следующим образом.

${ displaystyle { begin {align} F _ { mathbf {X}, mathbf {Y} , mid , mathbf {Z} , = , mathbf {z}} ( mathbf {x} , mathbf {y}) & = Pr (X_ {1} leq x_ {1}, ldots, X_ {l} leq x_ {l}, Y_ {1} leq y_ {1}, ldots , Y_ {m} leq y_ {m} mid Z_ {1} = z_ {1}, ldots, Z_ {n} = z_ {n}) [6pt] F _ { mathbf {X} , mid , mathbf {Z} , = , mathbf {z}} ( mathbf {x}) & = Pr (X_ {1} leq x_ {1}, ldots, X_ {l} leq x_ {l} mid Z_ {1} = z_ {1}, ldots, Z_ {n} = z_ {n}) [6pt] F _ { mathbf {Y} , mid , mathbf {Z} , = , mathbf {z}} ( mathbf {y}) & = Pr (Y_ {1} leq y_ {1}, ldots, Y_ {m} leq y_ {m } mid Z_ {1} = z_ {1}, ldots, Z_ {n} = z_ {n}) end {выравнивается}}}$

Использование в байесовском выводе

Позволять п быть долей избирателей, которые проголосуют «за» в предстоящем референдум. Принимая опрос общественного мнения, каждый выбирает п избиратели случайным образом из населения. За я = 1, ..., п, позволять Икс_я = 1 или 0, что соответствует, соответственно, тому, я-й выбранный избиратель проголосует или не проголосует «за».

В частотник подход к статистические выводы нельзя приписывать какое-либо распределение вероятностей п (если вероятность не может быть каким-либо образом интерпретирована как относительная частота возникновения какого-либо события или как пропорция некоторой популяции), и можно было бы сказать, что Икс₁, ..., Икс_п находятся независимый случайные переменные.

Напротив, в Байесовский подход к статистическому выводу, можно было бы назначить распределение вероятностей к п независимо от отсутствия любой такой "частотной" интерпретации, и можно было бы истолковать вероятности как степени веры в то, что п находится в любом интервале, которому присвоена вероятность. В этой модели случайные величины Икс₁, ..., Икс_п находятся нет независимы, но они условно независимый учитывая ценность п. В частности, если большое количество Иксs равны 1, что подразумевает высокую условную вероятность с учетом этого наблюдения, что п близка к 1, и, таким образом, с учетом этого наблюдения высокая условная вероятность того, что следующий Икс подлежащее соблюдению будет равно 1.

Правила условной независимости

Набор правил, управляющих заявлениями об условной независимости, был выведен из основного определения.^[4][5]

Примечание: поскольку эти импликации верны для любого вероятностного пространства, они все равно будут иметь место, если рассматривать суб-вселенную, обусловливая все другой переменной, скажемK. Например, ${ displaystyle X perp ! ! ! perp Y Rightarrow Y perp ! ! ! perp X}$ также означало бы, что ${ displaystyle X perp ! ! ! perp Y mid K Rightarrow Y perp ! ! ! perp X mid K}$.

Примечание: ниже запятую можно читать как «И».

Симметрия

${ displaystyle X perp ! ! ! perp Y quad Rightarrow quad Y perp ! ! ! perp X}$

Разложение

В этом разделе фактическая точность оспаривается. Соответствующее обсуждение можно найти на Обсуждение: Условная независимость. Пожалуйста, помогите убедиться, что оспариваемые утверждения надежный источник. (Декабрь 2018 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

${ displaystyle X perp ! ! ! perp A, B quad Rightarrow quad { text {and}} { begin {case} X perp ! ! ! perp A X perp ! ! ! Perp B end {case}}}$

Доказательство:

• ${ Displaystyle p_ {X, A, B} (x, a, b) = p_ {X} (x) p_ {A, B} (a, b)}$ (значение ${ Displaystyle Х перп ! ! ! перп А, В}$)
• ${ Displaystyle int _ {B} ! p_ {X, A, B} (x, a, b) , db = int _ {B} ! p_ {X} (x) p_ {A, B } (a, b) , db}$ (игнорировать переменную B путем интеграции)
• ${ Displaystyle p_ {X, A} (x, a) = p_ {X} (x) p_ {A} (a)}$     

Аналогичное доказательство показывает независимость Икс и B.

Слабый союз

${ displaystyle X perp ! ! ! perp A, B quad Rightarrow quad { text {and}} { begin {case} X perp ! ! ! perp A mid B X perp ! ! ! Perp B mid A end {case}}}$

Доказательство:

• По определению, ${ Displaystyle Pr (X) = Pr (X середина A, B)}$.
• Благодаря свойству разложения ${ Displaystyle Х перп ! ! ! перп Б}$, ${ Displaystyle Pr (X) = Pr (X середина B)}$.
• Объединение двух приведенных выше равенств дает ${ Displaystyle Pr (Икс середина B) = Pr (X середина A, B)}$, что устанавливает ${ displaystyle X perp ! ! ! perp A mid B}$.

Второе условие доказывается аналогично.

Сокращение

${ displaystyle left. { begin {выровнено} X perp ! ! ! perp A mid B X perp ! ! ! perp B end {align}} right } { text {и}} quad Rightarrow quad X perp ! ! ! perp A, B}$

Доказательство:

Это свойство можно доказать, заметив ${ Displaystyle Pr (Икс середина A, B) = Pr (X середина B) = Pr (X)}$, каждое равенство которых утверждается ${ displaystyle X perp ! ! ! perp A mid B}$ и ${ Displaystyle Х перп ! ! ! перп Б}$, соответственно.

Сжатие-слабое-объединение-разложение

Собирая вышеперечисленные три вместе, мы получаем:

${ displaystyle left. { begin {выровнено} X perp ! ! ! perp A mid B X perp ! ! ! perp B end {align}} right } { text {and}} quad iff quad X perp ! ! ! perp A, B quad Rightarrow quad { text {and}} { begin {cases} X perp ! ! ! perp A mid B X perp ! ! ! perp B X perp ! ! ! perp B mid A X perp ! ! ! perp A end {case}}}$^{[нужна цитата ]}

Пересечение

Для строго положительных вероятностных распределений^[5] также имеет место следующее:

${ Displaystyle left. { begin {выровнено} X perp ! ! ! perp A mid C, B X perp ! ! ! perp B mid C, A end {выровнено}} right } { text {and}} quad Rightarrow quad X perp ! ! ! perp B, A mid C}$

Вышеупомянутые пять правил были названы "Графоид Аксиомы »Жемчужины и Паза,^[6] потому что они держат инграфов, если ${ displaystyle X perp ! ! ! perp A mid B}$ интерпретируется как означающее: "Все пути от Икс к А перехватываются множеством B".^[7]

Смотрите также

• Графоид
• Условная зависимость
• теорема де Финетти
• Условное ожидание

Рекомендации

внешняя ссылка

• СМИ, связанные с Условная независимость в Wikimedia Commons