Некоррелированность (теория вероятностей) - Uncorrelatedness (probability theory)

В теория вероятности и статистика, два действительных случайные переменные, ${ displaystyle X}$ , ${ displaystyle Y}$ , как говорят, некоррелированный если их ковариация, ${ displaystyle operatorname {cov} [X, Y] = operatorname {E} [XY] - operatorname {E} [X] operatorname {E} [Y]}$ , равно нулю. Если две переменные не коррелированы, между ними нет линейной зависимости.

Некоррелированные случайные величины имеют Коэффициент корреляции Пирсона нуля, за исключением тривиального случая, когда любая переменная имеет ноль отклонение (постоянная). В этом случае корреляция не определена.

В общем, некоррелированность - это не то же самое, что ортогональность, за исключением особого случая, когда по крайней мере одна из двух случайных величин имеет ожидаемое значение 0. В этом случае ковариация это ожидание продукта, и ${ displaystyle X}$ и ${ displaystyle Y}$ не коррелируют если и только если ${ displaystyle operatorname {E} [XY] = 0}$ .

Если ${ displaystyle X}$ и ${ displaystyle Y}$ находятся независимый, с конечным вторые моменты, то они некоррелированы. Однако не все некоррелированные переменные независимы.^[1]^{:п. 155}

Определение

Определение двух реальных случайных величин

Две случайные величины ${ displaystyle X, Y}$ называются некоррелированными, если их ковариация ${ displaystyle operatorname {Cov} [X, Y] = operatorname {E} [(X- operatorname {E} [X]) (Y- operatorname {E} [Y])]}$ ноль^[1]^{:п. 153}^[2]^{:п. 121}. Формально:

${ displaystyle X, Y { text {uncorrelated}} quad iff quad operatorname {E} [XY] = operatorname {E} [X] cdot operatorname {E} [Y]}$

Определение двух сложных случайных величин

Два сложные случайные величины ${ displaystyle Z, W}$ называются некоррелированными, если их ковариация ${ displaystyle operatorname {K} _ {ZW} = operatorname {E} [(Z- operatorname {E} [Z]) { overline {(W- operatorname {E} [W])}}] }$ и их псевдоковариантность ${ displaystyle operatorname {J} _ {ZW} = operatorname {E} [(Z- operatorname {E} [Z]) (W- operatorname {E} [W])]}$ равен нулю, т.е.

${ displaystyle Z, W { text {uncorrelated}} quad iff quad operatorname {E} [Z { overline {W}}] = operatorname {E} [Z] cdot operatorname {E} [{ overline {W}}] { text {и}} operatorname {E} [ZW] = operatorname {E} [Z] cdot operatorname {E} [W]}$

Определение более двух случайных величин

Набор из двух или более случайных величин ${ Displaystyle X_ {1}, ldots, X_ {n}}$ называется некоррелированной, если каждая пара из них не коррелирована. Это эквивалентно требованию, чтобы недиагональные элементы матрица автоковариации ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}}}$ из случайный вектор ${ Displaystyle mathbf {X} = (X_ {1}, ldots, X_ {n}) ^ { mathrm {T}}}$ все равны нулю. Матрица автоковариации определяется как:

{ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} = operatorname {cov} [ mathbf {X}, mathbf {X}] = operatorname {E} [( mathbf {X} - operatorname {E} [ mathbf {X}]) ( mathbf {X} - operatorname {E} [ mathbf {X}]) ^ { rm {T}}] = operatorname { E} [ mathbf {X} mathbf {X} ^ {T}] - operatorname {E} [ mathbf {X}] operatorname {E} [ mathbf {X}] ^ {T}}

Примеры зависимости без корреляции

Пример 1

Позволять ${ displaystyle X}$ - случайная величина, которая принимает значение 0 с вероятностью 1/2 и значение 1 с вероятностью 1/2.
Позволять ${ displaystyle Y}$ быть случайной величиной, независимый из ${ displaystyle X}$ , которая принимает значение −1 с вероятностью 1/2 и принимает значение 1 с вероятностью 1/2.
Позволять ${ displaystyle U}$ случайная величина, построенная как ${ Displaystyle U = XY}$ .

Утверждение состоит в том, что ${ displaystyle U}$ и ${ displaystyle X}$ имеют нулевую ковариацию (и, следовательно, некоррелированы), но не являются независимыми.

Доказательство:

Учитывая, что

{ displaystyle operatorname {E} [U] = operatorname {E} [XY] = operatorname {E} [X] operatorname {E} [Y] = operatorname {E} [X] cdot 0 = 0,}

где выполняется второе равенство, поскольку ${ displaystyle X}$ и ${ displaystyle Y}$ независимы, получается

{ displaystyle { begin {align} operatorname {cov} [U, X] & = operatorname {E} [(U- operatorname {E} [U]) (X- operatorname {E} [X] )] = operatorname {E} [U (X - { tfrac {1} {2}})] & = operatorname {E} [X ^ {2} Y - { tfrac {1} {2 }} XY] = operatorname {E} [(X ^ {2} - { tfrac {1} {2}} X) Y] = operatorname {E} [(X ^ {2} - { tfrac { 1} {2}} X)] operatorname {E} [Y] = 0 end {выровнено}}}

Следовательно, ${ displaystyle U}$ и ${ displaystyle X}$ некоррелированы.

Независимость ${ displaystyle U}$ и ${ displaystyle X}$ означает, что для всех ${ displaystyle a}$ и ${ displaystyle b}$ , ${ Displaystyle Pr (U = а середина X = Ь) = Pr (U = а)}$ . Это неверно, в частности, для ${ displaystyle a = 1}$ и ${ displaystyle b = 0}$ .

${ Displaystyle Pr (U = 1 середина X = 0) = Pr (XY = 1 середина X = 0) = 0}$
${ Displaystyle Pr (U = 1) = Pr (XY = 1) = 1/4}$

Таким образом ${ Displaystyle Pr (U = 1 середина X = 0) neq Pr (U = 1)}$ так ${ displaystyle U}$ и ${ displaystyle X}$ не независимы.

Q.E.D.

Пример 2

Если ${ displaystyle X}$ является непрерывной случайной величиной равномерно распределены на ${ displaystyle [-1,1]}$ и ${ displaystyle Y = X ^ {2}}$ , тогда ${ displaystyle X}$ и ${ displaystyle Y}$ не коррелируют, хотя ${ displaystyle X}$ определяет ${ displaystyle Y}$ и особая ценность ${ displaystyle Y}$ может производиться только одним или двумя значениями ${ displaystyle X}$ :

${ displaystyle f_ {X} (t) = {1 over 2} I _ {[- 1,1]}; f_ {Y} (t) = {1 over {2 { sqrt {t}}}} I _ {] 0,1]}}$

с другой стороны, ${ displaystyle f_ {X, Y}}$ равен 0 на треугольнике, определяемом формулой ${ displaystyle 0$ несмотря на то что ${ displaystyle f_ {X} times f_ {Y}}$ не является нулевым в этом домене. Следовательно ${ Displaystyle f_ {X, Y} (X, Y) neq f_ {X} (X) times f_ {Y} (Y)}$ и переменные не независимы.

${ Displaystyle E [X] = {{1-1} over 2} = 0; E [Y] = {{1 ^ {3} - (- 1) ^ {3}} over {3 times 2 }} = {1 более 3}}$

${ Displaystyle Cov [X, Y] = E left [(XE [X]) (YE [Y]) right] = E left [X ^ {3} - {X over 3} right] = {{1 ^ {4} - (- 1) ^ {4}} over {4 times 2}} = 0}$

Следовательно, переменные некоррелированы.

Когда некоррелированность подразумевает независимость

Бывают случаи, когда некоррелированность подразумевает независимость. Один из этих случаев - это тот, в котором обе случайные величины являются двузначными (так что каждая может быть линейно преобразована, чтобы иметь Распределение Бернулли ).^[3] Кроме того, две совместно нормально распределенные случайные величины независимы, если они не коррелированы,^[4] хотя это не верно для переменных, маргинальные распределения которых нормальны и некоррелированы, но совместное распределение которых не является совместным нормальным (см. Нормально распределенный и некоррелированный не означает независимого ).

Обобщения

Некоррелированные случайные векторы

Два случайные векторы ${ Displaystyle mathbf {X} = (X_ {1}, ldots, X_ {m}) ^ {T}}$ и ${ Displaystyle mathbf {Y} = (Y_ {1}, ldots, Y_ {n}) ^ {T}}$ называются некоррелированными, если

{ displaystyle operatorname {E} [ mathbf {X} mathbf {Y} ^ {T}] = operatorname {E} [ mathbf {X}] operatorname {E} [ mathbf {Y}] ^ {T}}

.

Они некоррелированы тогда и только тогда, когда их матрица кросс-ковариации ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {Y}}}$ равно нулю.^[5]^:стр.337

Два сложных случайных вектора ${ displaystyle mathbf {Z}}$ и ${ displaystyle mathbf {W}}$ называются некоррелированный если их матрица кросс-ковариаций и их матрица псевдокросс-ковариаций равна нулю, т.е. если

{ displaystyle operatorname {K} _ { mathbf {Z} mathbf {W}} = operatorname {J} _ { mathbf {Z} mathbf {W}} = 0}

где

{ displaystyle operatorname {K} _ { mathbf {Z} mathbf {W}} = operatorname {E} [( mathbf {Z} - operatorname {E} [ mathbf {Z}]) {( mathbf {W} - operatorname {E} [ mathbf {W}])} ^ { mathrm {H}}]}

и

{ displaystyle operatorname {J} _ { mathbf {Z} mathbf {W}} = operatorname {E} [( mathbf {Z} - operatorname {E} [ mathbf {Z}]) {( mathbf {W} - operatorname {E} [ mathbf {W}])} ^ { mathrm {T}}]}

.

Некоррелированные случайные процессы

Два случайные процессы ${ displaystyle left {X_ {t} right }}$ и ${ displaystyle left {Y_ {t} right }}$ называются некоррелированный если их кросс-ковариация ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {Y}} (t_ {1}, t_ {2}) = operatorname {E} left [ left (X (t_ {1}) ) - mu _ {X} (t_ {1}) right) left (Y (t_ {2}) - mu _ {Y} (t_ {2}) right) right]}$ всегда равен нулю.^[2]^{:п. 142} Формально:

{ displaystyle left {X_ {t} right }, left {Y_ {t} right } { text {uncorrelated}} quad iff quad operatorname {K} _ { mathbf {X} mathbf {Y}} (t_ {1}, t_ {2}) = 0 quad forall t_ {1}, t_ {2}.}

Смотрите также

использованная литература

^ ^а ^б Папулис, Афанасиос (1991). Вероятность, случайные величины и стохастические процессы. MCGraw Hill. ISBN 0-07-048477-5.
^ ^а ^б Кун Иль Парк, Основы вероятностных и случайных процессов с приложениями к коммуникациям, Springer, 2018, 978-3-319-68074-3
^ Виртуальные лаборатории теории вероятностей и статистики: ковариация и корреляция, поз.17.
^ Бэйн, Ли; Энгельгардт, Макс (1992). «Глава 5.5. Условные ожидания». Введение в вероятностную и математическую статистику (2-е изд.). С. 185–186. ISBN 0534929303.
^ Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и компьютерщиков. Издательство Кембриджского университета. ISBN 978-0-521-86470-1.

дальнейшее чтение

Вероятность для статистиков, Гален Р. Шорак, Спрингер (c2000) ISBN 0-387-98953-6

[Papoulis-1] а ^б Папулис, Афанасиос (1991). Вероятность, случайные величины и стохастические процессы. MCGraw Hill. ISBN 0-07-048477-5.

[KunIlPark-2] а ^б Кун Иль Парк, Основы вероятностных и случайных процессов с приложениями к коммуникациям, Springer, 2018, 978-3-319-68074-3

[3] Виртуальные лаборатории теории вероятностей и статистики: ковариация и корреляция, поз.17.

[4] Бэйн, Ли; Энгельгардт, Макс (1992). «Глава 5.5. Условные ожидания». Введение в вероятностную и математическую статистику (2-е изд.). С. 185–186. ISBN 0534929303.

[Gubner-5] Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и компьютерщиков. Издательство Кембриджского университета. ISBN 978-0-521-86470-1.

[1]

[2]

[3]

[4]

[5]